為什么輸出的網(wǎng)頁是重復(fù)的內(nèi)容???
我把解析器里面的res_data字典的初始化放到了__init__構(gòu)造方法里面,抓取10次后,造成輸出的網(wǎng)頁是重復(fù)的10組內(nèi)容
通過設(shè)斷點,發(fā)現(xiàn)一個邪門的事情,從第2次抓取開始,運行完parser函數(shù)(黃框)但是還沒運行到collect_data函數(shù)(紅框),但是HtmlDownloader里面的datas卻跟著改變了,這是什么情況?。??難怪造成最后結(jié)果是重復(fù)的。大神解釋下啊,困擾一周了。
2016-04-12
同問,也遇到類似狀況