問題-----
有個問題：編寫HtmlDownloader這個類的download方法時，為什么要先判斷url是否為空？下載器得到的url不應該肯定不是空的嗎？因為new_urls這個待爬取列表里的url肯定非空呀 那下載器得到的url不就肯定非空了嗎？求高人解答！萬分感謝！
1 回答
舉報
0/150
提交
取消
有個問題：編寫HtmlDownloader這個類的download方法時，為什么要先判斷url是否為空？下載器得到的url不應該肯定不是空的嗎？因為new_urls這個待爬取列表里的url肯定非空呀 那下載器得到的url不就肯定非空了嗎？求高人解答！萬分感謝！
2017-01-21
舉報
2017-01-25
出于代碼嚴謹?shù)目紤]，如果url管理器里的url來源不止一處呢，或者有多人協(xié)作時，你無法保證他人加入的數(shù)據是什么樣子的