不得不了解的网站蜘蛛日志分析
<p>对于是否知道<a href="https://www.teamczyx.com/seoczlc/229.html">百度蜘蛛</a>来过我们的网站，该怎么办？那就可以利用网站日志来分析蜘蛛是否来过，又爬寻了那些页面，什么时候来过等相关问题，又该如何利用蜘蛛日志分析得到的意义呢?
</p>
<p>
<span style="color:#ff0000;">一、什么是网站日志</span>
</p>
<p>
网站日志是一个通过工具或者Excel表格等类似的工具分析蜘蛛是否来过，可以从工具中分析出来的网站日志查看。一般的情况下，我们都使用ftp工具,网站日志均为空间商会给你提供下载地址。一般是在weblog文件中，我们可以直接从中获取站点的日志文件。网站日志是每天生成一次，但是对于网站较大，站点内容较多的可以设置每小时生成一次。
</p>
<p>
<span style="color:#ff0000;">二、如何分析网站日志</span>
</p>
<p>
<span style="color:#008000;">123.125.71.51 – – “GET /seoxs/242.html HTTP/1.1” 200 7942 “-” “Mozilla/5.0 (Linux;u;Android 4.2.2;zh-cn;) AppleWebKit/534.46 (KHTML,like Gecko) Version/5.1 Mobile Safari/10600.6.3 (compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html)</span>
</p>
<p>
以上的代码是我从自己的空间下载的一段日志，现在与大家一起来分析一下，这段代码具体意思如下：
</p>
<p>
<span style="color:#008000;">111.206.221.110：<span style="color:#333333;">访问IP</span></span>
</p>
<p>
<span style="color:#008000;">：<span style="color:#333333;">访问具体时间</span></span>
</p>
<p>
<span style="color:#008000;">GET /seoxs/242.html HTTP/1.1：<span style="color:#333333;">表示蜘蛛抓取此链接https://www.teamczyx.com/seoxs/242.html（GET表示服务器动作）</span></span>
</p>
<p>
<span style="color:#008000;">200:<span style="color:#333333;">表示正常访问</span></span>
</p>
<p>
<span style="color:#008000;">7942:<span style="color:#333333;">表示7942字节</span></span>
</p>
<p>
后面的代码就是表示移动端系统，没什么多大意义，主要是能够知道蜘蛛来抓取页面与多久时间就行了，Baiduspider这个就是百度蜘蛛的全名。
</p>
<p>
<span style="color:#ff0000;">三、网站日志代码识别</span>
</p>
<p>
200 – 服务器成功返回网页
</p>
<p>
404- 请求的网页不存在
</p>
<p>
503 – 服务器暂时不可用
</p>
<p>
500 – 服务器出现错误
</p>
<p>
既然知道了如何分析网站日志，蜘蛛也抓取了相应的连接，那么抓取了就一定能收录吗?这只能说是多一次收录的机会，还有很多原因比如文章内容抄袭太多可以看我之前的文章（<a href="https://www.teamczyx.com/seormjc/212.html">站内文章不收录是什么原因?</a>），相信你的文章质量会大大提升也能促进收录!
</p>
<h1 class="article-title">
</h1>
页:
[1]