如何屏蔽國(guó)外垃圾蜘蛛爬蟲服務(wù)器經(jīng)常爬死機(jī)卡得很,帶寬10M就一個(gè)論壇程序, 重啟服務(wù)器后登陸網(wǎng)站快得很,過2小時(shí)后登陸網(wǎng)站就卡,查看日志分別就是這三爬蟲不停爬取網(wǎng)站。 WebMeUp Semrush   ... 查看全文
從根源上,最好是服務(wù)器nginx層面攔截,php層面再攔截,實(shí)際上已經(jīng)消耗了大量資源了 |
如果你用的是 Apache ,偽靜態(tài)規(guī)則這樣寫可以阻止蜘蛛訪問
|
![]() if ($http_user_agent ~* (SemrushBot|DotBot|HttpClient|MJ12bot|SemrushBot|Barkrowler|AhrefsBot|PetalBot|BLEXBot|Other|Semrush|WebMeUp|SM-G900P)) { return 403; } 這樣的規(guī)則應(yīng)該就可以了的, 如果屏蔽之后 還沒大幅度好轉(zhuǎn) 就是還有 其他垃圾蜘蛛 或者是 垃圾ip再大量訪問 具體的 要 分析web日志 才行; 當(dāng)然, 如果沒有海外用戶, 可以直接屏蔽所有的海外ip, 你截圖的那個(gè) ip地區(qū)訪問限制 插件是可以通過 關(guān)鍵字 屏蔽 海外的 地區(qū)或國(guó)家的; 最節(jié)省資源的方法是: 分析web日志, 找出惡意訪問的ip , 然后使用 防火墻攔截 |
手機(jī)版|小黑屋|Discuz! 官方交流社區(qū)
( 皖I(lǐng)CP備16010102號(hào) |皖公網(wǎng)安備34010302002376號(hào) )|網(wǎng)站地圖|
GMT+8, 2025-9-19 05:41 , Processed in 0.094590 second(s), 37 queries .
Powered by Discuz! W1.0 Licensed
Copyright © 2001-2025 Discuz! Team.