有什么插件能控制谷歌爬蟲抓去及其它爬蟲

klg548

有什么插件能控制谷歌爬蟲抓去及其它爬蟲，服務器壓力很大，CPU4內存4G帶寬10經常拉得滿滿，就是一個新建的論壇，

我知道答案 回答被采納將會獲得1 貢獻 已有4人回答

天外飄仙

……你這是被人盯上 了吧;
你這配置, 新建論壇 蜘蛛抓取很難拉滿的! 新建論壇 被蜘蛛抓的拉滿 應該高些才是

專家

這根本不是小網站有能力解決的問題。辦法是有的，但難度很高。
大網站遇到了這種問題都得花不少功夫解決，還不一定能處理好。
可以參考以下文章，了解搜索引擎爬蟲的威力：
https://www.cnblogs.com/cmt/p/17254793.html
https://www.cnblogs.com/cmt/p/17270037.html
https://www.cnblogs.com/cmt/p/17353598.html

klg548

天外飄仙 發表于 2023-7-27 16:44
……你這是被人盯上 了吧;
你這配置, 新建論壇 蜘蛛抓取很難拉滿的! 新建論壇 被蜘蛛抓的拉滿 應該高些才 ...

主要是谷歌爬蟲太平凡啦？程序做了IP屏蔽，服務器上也做IP屏蔽，谷歌爬蟲換了IP段來平凡爬去？頭痛谷歌。搞我經常做IP屏蔽。煩躁的很。。。。。。

klg548

專家 發表于 2023-7-27 17:21
這根本不是小網站有能力解決的問題。辦法是有的，但難度很高。
大網站遇到了這種問題都得花不少功夫解決， ...

謝謝大神指引