關(guān)于url的問(wèn)題
頁(yè)面只傳入了初始頁(yè)面url,那之后要爬的url是怎么來(lái)的?視頻中沒(méi)看到生成urls的方法啊,主函數(shù)調(diào)用urlManager,但是urlManager中只是對(duì)urls new了一個(gè)set()??
頁(yè)面只傳入了初始頁(yè)面url,那之后要爬的url是怎么來(lái)的?視頻中沒(méi)看到生成urls的方法啊,主函數(shù)調(diào)用urlManager,但是urlManager中只是對(duì)urls new了一個(gè)set()??
2017-12-07
舉報(bào)
2017-12-07
原來(lái)是在html解析器里解析了頁(yè)面中類似的/view/的帶a標(biāo)簽的鏈接。