首頁猿問 python怎么爬取除了入口url...

python怎么爬取除了入口url以外的網(wǎng)頁內(nèi)容？

Python 大數(shù)據(jù)

Arctancot 2016-12-29 19:14:07

python實(shí)現(xiàn)爬取除入口url以外的網(wǎng)頁內(nèi)容，首頁米有我想爬取的內(nèi)容

查看完整描述

1 回答

Nelson_Zhao

TA貢獻(xiàn)21條經(jīng)驗(yàn) 獲得超4個贊

這個內(nèi)容太大了。沒有具體網(wǎng)頁，只能跟你說下思路。

如果你想爬的網(wǎng)頁能夠通過首頁url鏈入，那么直接先爬取首頁，然后將首頁的鏈接存入url管理函數(shù)，然后再從url管理函數(shù)里面調(diào)用你的目標(biāo)url。

一般自己寫爬蟲建議以框架的方式寫，比較清晰，最好寫個url管理函數(shù)，方面url的管理和存儲。

反對回復(fù) 2017-01-01

關(guān)注

舉報

0/150

提交

取消

購課補(bǔ)貼
聯(lián)系客服咨詢優(yōu)惠詳情

慕課網(wǎng)APP
您的移動學(xué)習(xí)伙伴

掃描二維碼
關(guān)注慕課網(wǎng)微信公眾號