課程
/后端開發(fā)
/Python
/Python開發(fā)簡單爬蟲
感覺如果抓“Python”關(guān)鍵詞相關(guān),應(yīng)該在根頁面廣度優(yōu)先搜索啊,現(xiàn)在爬下來的結(jié)果都是一些奇奇怪怪的詞條。。。
2016-05-05
源自:Python開發(fā)簡單爬蟲 8-1
正在回答
廣度搜索,優(yōu)先搜索最相關(guān)條目
思考了一下,拋磚引玉,誰眼尖幫我看一下是不是廣搜?謝謝
class?UrlManager(object): ????def?__init__(self): ????????self.new_urls?=?[]????????#?改成了list,方便pop首元素 ????????self.old_urls?=?[] ????def?add_new_url(self,?url): ????????if?url?is?None: ????????????return ????????if?url?not?in?self.new_urls?and?url?not?in?self.old_urls: ????????????self.new_urls.append(url)?????????#?更改了 ????def?add_new_urls(self,?urls): ????????if?urls?is?None?or?len(urls)?==?0: ????????????return ????????for?url?in?urls: ????????????self.add_new_url(url) ????def?has_new_url(self): ????????return?len(self.new_urls)?!=?0 ????def?get_new_url(self): ????????new_url?=?self.new_urls.pop(0)????????#?彈出首元素,訪問 ????????self.old_urls.append(new_url)?????????#?更改了 ????????return?new_url
舉報(bào)
本教程帶您解開python爬蟲這門神奇技術(shù)的面紗
Copyright ? 2025 imooc.com All Rights Reserved | 京ICP備12003892號-11 京公網(wǎng)安備11010802030151號
購課補(bǔ)貼聯(lián)系客服咨詢優(yōu)惠詳情
慕課網(wǎng)APP您的移動學(xué)習(xí)伙伴
掃描二維碼關(guān)注慕課網(wǎng)微信公眾號
2016-06-07
廣度搜索,優(yōu)先搜索最相關(guān)條目
2016-05-05
思考了一下,拋磚引玉,誰眼尖幫我看一下是不是廣搜?謝謝