爬蟲會對服務(wù)器造成影響，怎么減少對服務(wù)器的影響，慢慢爬取，我爬一個網(wǎng)站做實驗，結(jié)果沒弄幾下就被訪問限制了怎么解決
2 回答
qq_吳富順
TA貢獻1條經(jīng)驗 獲得超0個贊
具體是看對方用什么防御機制。Iptables 防御, 爬取行為判定, cookies, captcha
爬蟲有分惡意爬蟲和善意爬蟲 googlebot 和baiduspider都屬于善意爬蟲
如果你不考慮惡意或者善意 可以用代理IP把爬蟲變得隱蔽起來。
在IP不斷變換下判定機制不容易判斷到你的爬蟲。
把User-agent和代理IP弄一弄。然后大約在查詢20-30個左右就換一個IP和user-agent。
服務(wù)器管理員和判定機制不觸發(fā)你就不會被訪問限制了。
添加回答
舉報
0/150
提交
取消