当前位置:首页> 网站运营 > 不得不了解的网站蜘蛛日志分析

不得不了解的网站蜘蛛日志分析

2021-05-17 21:36:54 来源: 网络   编辑: 佚名   浏览(30)人   
0
对于是否知道百度蜘蛛来过我们的网站,该怎么办?那就可以利用网站日志来分析蜘蛛是否来过,又爬寻了那些页面,什么时候来过等相关问题,又该如何利用蜘蛛日志分析得到的意义呢?  
一、什么是网站日志  
网站日志是一个通过工具或者Excel表格等类似的工具分析蜘蛛是否来过,可以从工具中分析出来的网站日志查看。一般的情况下,我们都使用ftp工具,网站日志均为空间商会给你提供下载地址。一般是在weblog文件中,我们可以直接从中获取站点的日志文件。网站日志是每天生成一次,但是对于网站较大,站点内容较多的可以设置每小时生成一次。  
二、如何分析网站日志  
123.125.71.51––[22/Dec/2017:19:44:33+0800]“GET/seoxs/242.htmlHTTP/1.1”2007942“-”“Mozilla/5.0(Linux;u;Android4.2.2;zh-cn;)AppleWebKit/534.46(KHTML,likeGecko)Version/5.1MobileSafari/10600.6.3(compatible;Baiduspider/2.0;+http://www.baidu.com/search/spider.html)  
以上的代码是我从自己的空间下载的一段日志,现在与大家一起来分析一下,这段代码具体意思如下:  
111.206.221.110:访问IP  
[22/Dec/2017:19:44:38+0800]:访问具体时间  
GET/seoxs/242.htmlHTTP/1.1:表示蜘蛛抓取此链接http://www.xusseo.com/seoxs/242.html(GET表示服务器动作)  
200:表示正常访问  
7942:表示7942字节  
后面的代码就是表示移动端系统,没什么多大意义,主要是能够知道蜘蛛来抓取页面与多久时间就行了,Baiduspider这个就是百度蜘蛛的全名。  
三、网站日志代码识别  
200–服务器成功返回网页  
404-请求的网页不存在  
503–服务器暂时不可用  
500–服务器出现错误  

既然知道了如何分析网站日志,蜘蛛也抓取了相应的连接,那么抓取了就一定能收录吗?这只能说是多一次收录的机会,还有很多原因比如文章内容抄袭太多可以看我之前的文章(站内文章不收录是什么原因?),相信你的文章质量会大大提升也能促进收录!

本文链接:http://www.xusseo.com/seormjc/264.html  
版权声明:本文著作权归原作者徐三seo所有,转载请注明出处,感谢!

【版权与免责声明】如发现内容存在版权问题,烦请提供相关信息发邮件至 2366541504@qq.com ,我们将及时沟通进行删除处理。 本站内容除了 98link( http://www.98link.com/ )特别标记的原创外,其它均为网友转载内容,涉及言论、版权与本站无关。