如何有效的屏蔽百度蜘蛛
<p>很多时候，我们都不会去把<a href="https://www.teamczyx.com/seoczlc/229.html">百度蜘蛛</a>去屏蔽掉，但是也有需要去屏蔽一些不必要的抓取，比如一些大型的网站门户网，有登录页面或者是注册页面，还有一些不想让百度蜘蛛抓取文件都可以利用robots协议来完成，那么重庆SEO徐三就讲解哈屏蔽百度蜘蛛的具体方法。
</p>
<p>
<span style="color:#ff0000;">一、robots协议</span>
</p>
<p>
<a href="https://www.teamczyx.com/seoczlc/234.html">robots协议</a>相信大家都不陌生，首先既然要用到robots协议，那么我们就要先创建一个记事本，把记事本重命名为robots，然后我们写下robots协议具体如下：
</p>
<p>
User-agent: BadBot<br />
Disallow: /
</p>
<p>
然后保存后通过FTP工具上传到网站根目录即可。
</p>
<p>
<span style="color:#ff0000;">二、robots Meta标签</span>
</p>
<p>
robots?Meta标签也可以屏蔽百度蜘蛛抓取，这种方法与robots类似，但是还是部分搜索引擎不支持，robots?Meta用来对某几个页面单独设置时使用。其代码是写在“<head></head>”之间，如下所示：
</p>
<p>
<head>
</p>
<p>
<meta?name=”robots”?content=”index,follow”?/>
</p>
<p>
</head>
</p>
<p>
<span style="color:#ff0000;">三、.htaccess屏蔽</span>
</p>
<p>
如果说使用robots协议无法全部屏蔽你的网站，那么你可以在你的网站根目录下找到.htaccess屏蔽代码如下：
</p>
<p>
方法1：
</p>
<p>
RewriteEngine on
</p>
<p>
RewriteCond ?TTP_USER_AGENT} ^Baiduspider
</p>
<p>
RewriteRule .* –
</p>
<p>
方法2：
</p>
<p>
SetEnvIfNoCase User-Agent “^Baiduspider” bad_bot
</p>
<p>
<Limit GET POST>
</p>
<p>
Order Allow,Deny
</p>
<p>
Allow from all
</p>
<p>
Deny from env=bad_bot
</p>
<p>
</Limit>
</p>
<p>
<span style="color:#800000;">总结:百度蜘蛛屏蔽方法有许多，以上方法可参考，重庆SEO徐三觉得还是以robots协议较好，所以其他方法及时可以用，但是也不建议去做，因为一步小心搞错了，就会导致麻烦不断！</span>
</p>
页:
[1]