為什么解析后的url要放進(jìn)url管理器里？
self.urls.add_new_urls(new_urls)? ?為什么解析后的url要放進(jìn)url管理器里？
循環(huán)訪問URL，爬取相關(guān)數(shù)據(jù)不是在解析器中的嗎？URL管理器這步中只做了添加動作，添加進(jìn)去的意義在哪？
希希同學(xué)
2017-12-22
1 回答
舉報(bào)
0/150
提交
取消
2017-12-23
添加到 url管理器中才能循環(huán)訪問 url，爬取相關(guān)數(shù)據(jù)。如果不添加進(jìn)去，只會爬取 root_url的數(shù)據(jù)了。