關(guān)于批量爬去如何動(dòng)態(tài)獲取url問(wèn)題
老師,請(qǐng)教一下
比如, 我現(xiàn)在需要爬取百度百科100個(gè)明星的百度百科信息,經(jīng)過(guò)觀察, url格式是不完全固定的:
王祖賢:https://baike.baidu.com/item/王祖賢/316479?fr=aladdin
楊冪:https://baike.baidu.com/item/楊冪/149851?fr=aladdin
上面2個(gè)人的?前的號(hào)碼是不一樣的, 那么批量爬取時(shí), 如何獲取每個(gè)明星對(duì)應(yīng)的URL呢?
2019-06-07
/item/*