# coding:utf8

class UrlManager(object):#需要兩個(gè)列表，待爬取的url和已經(jīng)爬取過得url

? ? def __init__(self):

? ? ? ? self.new_urls = set()

? ? ? ? self.old_urls = set()

? ??

? ? def add_new_url(self,url):#向管理器中添加新的url

? ? ? ? if url is None:

? ? ? ? ? ? return

? ? ? ? if url not in self.new_urls and url not in self.old_urls:#如果這個(gè)url既不在待爬取中也不在爬取過的

? ? ? ? ? ? self.new_urls.add(url) ?#將其添加在待爬取中

? ??

? ? def add_new_urls(self,urls):#向管理器中添加批量的url

? ? ? ? if urls is None or len(urls) == 0:

? ? ? ? ? ? return

? ? ? ? for url in urls:

? ? ? ? ? ? self.add_new_url(url)

? ??

? ? def has_new_url(self):#判斷管理器中是否有新的待爬取的url

? ? ? ? return len(self.new_urls) != 0

? ??

? ? def get_new_url(self):#獲取新的待爬取的url

? ? ? ? new_url = self.new_urls.pop()

? ? ? ? self.old_urls.add(new_url)

? ? ? ? return new_url