人亦已歌 发表于 2019-4-25 20:09:49

百度抓取太频繁也让人头疼！

大家都喜欢让百度蜘蛛多来抓取，可是真的抓取太多，也是让人头疼的事情。看下边的一个客户案例，是不是头疼呢？

http://www.yelangsem.net/data/attachment/forum/201411/25/032326e7b88petee7zette.jpg

这家伙，不头疼都不行！一天抓取几十万次！要把服务器给爆掉的感觉吧！

客户找到慈众想让禁止百度抓取，其实最好的办法就是更换一个更牛一点的服务器。百度这么喜欢你，你就让他抓吧！抓累了自己就停止了！

金伟 发表于 2020-10-17 19:09:42

感谢楼主的无私分享！

Liz 发表于 2020-10-16 07:00:03

我是来刷分的，嘿嘿

宿命原创 发表于 2020-10-10 17:12:26

其实我一直觉得楼主的品味不错！呵呵！

爱之翼 发表于 2020-10-7 12:05:19

其实我一直觉得楼主的品味不错！呵呵！

人和就有好 发表于 2020-10-6 21:11:58

楼主太厉害了！楼主，I*老*虎*U！

沙和尚 发表于 2020-10-6 19:09:21

帮帮顶顶！！

laiwu1989 发表于 2020-10-5 19:09:42

楼主太厉害了！楼主，I*老*虎*U！

浮华 发表于 2020-10-5 18:08:26

我是个凑数的。。。

宅男女神 发表于 2020-10-2 08:00:05

看帖回帖是美德！:lol
页: [1] 2 3 4 5 6 7 8 9 10
查看完整版本: 百度抓取太频繁也让人头疼！