在add_new_urls方法內(nèi)，是不是應(yīng)該也判斷下添加的新的urls是否在self.old_urls里面？
for?url?in?urls: ????if?url?not?in?self.old_urls: ????????self.new_urls.add(url)
如果不添加的話，就會(huì)重復(fù)爬取吧？
3 回答
舉報(bào)
0/150
提交
取消
for?url?in?urls: ????if?url?not?in?self.old_urls: ????????self.new_urls.add(url)
如果不添加的話，就會(huì)重復(fù)爬取吧？
舉報(bào)
2016-09-25
add方法好像還會(huì)重復(fù)的調(diào)用前面的add單個(gè)的方法。。所以不用擔(dān)心
2016-04-24
set會(huì)覆蓋原有的相同信息，所以不必?fù)?dān)心
2016-01-17
沒(méi)有必要，因?yàn)閍dd_new_urls方法里邊又調(diào)用到了add方法，判重已經(jīng)在add中實(shí)現(xiàn)了