如何有效的屏蔽百度蜘蛛

人亦已歌 · 发表于 2023-6-24 14:02:45

很多时候，我们都不会去把百度蜘蛛去屏蔽掉，但是也有需要去屏蔽一些不必要的抓取，比如一些大型的网站门户网，有登录页面或者是注册页面，还有一些不想让百度蜘蛛抓取文件都可以利用robots协议来完成，那么重庆SEO徐三就讲解哈屏蔽百度蜘蛛的具体方法。

一、robots协议

robots协议相信大家都不陌生，首先既然要用到robots协议，那么我们就要先创建一个记事本，把记事本重命名为robots，然后我们写下robots协议具体如下：

User-agent: BadBot
Disallow: /

然后保存后通过FTP工具上传到网站根目录即可。

二、robots Meta标签

robots?Meta标签也可以屏蔽百度蜘蛛抓取，这种方法与robots类似，但是还是部分搜索引擎不支持，robots?Meta用来对某几个页面单独设置时使用。其代码是写在“<head></head>”之间，如下所示：

<head>

</head>

三、.htaccess屏蔽

如果说使用robots协议无法全部屏蔽你的网站，那么你可以在你的网站根目录下找到.htaccess屏蔽代码如下：

方法1：

RewriteEngine on

RewriteCond ?TTP_USER_AGENT} ^BAIduspider [NC]

RewriteRule .* – [F]

方法2：

SetEnvIfNoCase User-Agent “^Baiduspider” bad_bot

Order Allow,Deny

Allow from all

Deny from env=bad_bot

</Limit>

总结:百度蜘蛛屏蔽方法有许多，以上方法可参考，重庆SEO徐三觉得还是以robots协议较好，所以其他方法及时可以用，但是也不建议去做，因为一步小心搞错了，就会导致麻烦不断！

[[SEO技术]] 如何有效的屏蔽百度蜘蛛