爬著爬著就不動(dòng)了,是因?yàn)楸环?wù)器攔住了嗎
像這樣,后面就一直不動(dòng)了,有可能是不給訪問了嗎
重試了很多次,有時(shí)能順利爬到幾百結(jié)束程序(只設(shè)置到300或者500的樣子),有時(shí)就是這樣,幾個(gè)頁面或者幾十個(gè)頁面就停下了,也沒有報(bào)錯(cuò),試了用add_header()函數(shù)(不過也不確實(shí)是不是這樣就能偽裝成瀏覽器),也不行,查看每次卡住的頁面也沒找到什么共通之處,難道是網(wǎng)絡(luò)的問題嗎
設(shè)置的300,爬到285又不動(dòng)了TAT
2019-07-24
我只爬到2
2016-04-17
為什么我的直接就終止,什么情況?
2016-03-23
6個(gè)就出錯(cuò)了,不應(yīng)該是被攔截了.