爬不到1000個。。。
有沒有人跟我一樣運行不到最后就卡住的？？這是什么鬼。。。每次爬個幾百個就停住了。。
ACE祥哥
2016-10-24
7 回答
舉報
0/150
提交
取消
2017-07-27
def _get_new_urls(self, curr_url, soup):
? ?new_urls = set()
? ?links = soup.find_all('a', href=re.compile(r"/item/*"))
正則表達式的內(nèi)容改下就行，網(wǎng)頁格式變了
2017-03-24
我就爬了兩個~~~
2017-03-20
我第一次爬了1000條，但是再次運行的時候爬了兩條就結(jié)束了
2017-02-20
可以試試修改一下collect 函數(shù)，讓它每次收集數(shù)據(jù)的時候都寫入文件，而不是像老師一樣最后一次性寫入。
2016-12-11
來個多線程
2016-11-14
嗯嗯，，有可能啊，感覺程序應(yīng)該沒什么問題，而且每次卡死的時候爬取的數(shù)目也不同，最多一次也能爬取900多個
2016-11-01
我感覺是內(nèi)存的原因吧，數(shù)據(jù)都在內(nèi)存保存，最后寫入文件的