第七色在线视频,2021少妇久久久久久久久久,亚洲欧洲精品成人久久av18,亚洲国产精品特色大片观看完整版,孙宇晨将参加特朗普的晚宴

為了賬號(hào)安全,請(qǐng)及時(shí)綁定郵箱和手機(jī)立即綁定
已解決430363個(gè)問題,去搜搜看,總會(huì)有你想問的

python爬蟲 設(shè)置了去重但是還是爬幾條后就無限爬同一個(gè)URL,下面是去重的代碼

python爬蟲 設(shè)置了去重但是還是爬幾條后就無限爬同一個(gè)URL,下面是去重的代碼

慕桂英5878391 2017-07-30 15:03:56
class UrlManager(object): ? ?def __init__(self): ? ? ? ?self.new_urls = set() ? ? ? ?self.old_urls = set() ? ?def add_new_url(self, url): ? ? ? ?if url is None:? ? ? ? ? ?return ? ? ? ?if url not in self.new_urls and url not in self.old_urls: ? ? ? ? ? ?self.new_urls.add(url) ? ?def add_new_urls(self, urls): ? ? ? ?if urls is None or len(urls) == 0: ? ? ? ? ? ?return ? ? ? ?for url in urls: ? ? ? ? ? ?self.new_urls.add(url) ? ?def has_new_url(self): ? ? ? ?return len(self.new_urls) != 0 ? ?def get_new_url(self): ? ? ? ?new_url = self.new_urls.pop() ? ? ? ?self.old_urls.add(new_url) ? ? ? ?return new_url
查看完整描述

目前暫無任何回答

  • 0 回答
  • 1 關(guān)注
  • 1536 瀏覽
慕課專欄
更多

添加回答

舉報(bào)

0/150
提交
取消
微信客服

購(gòu)課補(bǔ)貼
聯(lián)系客服咨詢優(yōu)惠詳情

幫助反饋 APP下載

慕課網(wǎng)APP
您的移動(dòng)學(xué)習(xí)伙伴

公眾號(hào)

掃描二維碼
關(guān)注慕課網(wǎng)微信公眾號(hào)