-
urllib2下載網(wǎng)頁方法1的對應(yīng)代碼
導(dǎo)入urllib2模塊
直接請求：調(diào)用urllib2的urlopen()方法給定一個字符串來實(shí)現(xiàn)網(wǎng)頁的下載，返回內(nèi)容傳給response對象
獲取狀態(tài)碼：調(diào)用response對象的getcode()方法，根據(jù)狀態(tài)碼是不是200來判斷是不是獲取成功
同時可使用response的read()方法來讀取下載好的內(nèi)容
查看全部 -
urllib2下載網(wǎng)頁方法1
查看全部 -
py的2種網(wǎng)頁下載器
查看全部 -
網(wǎng)頁下載器
查看全部 -
URL的3種實(shí)現(xiàn)方式
查看全部 -
URL管理器
查看全部 -
簡單的爬蟲架構(gòu)-運(yùn)行流程
查看全部 -
簡單的爬蟲架構(gòu)：
首先需要一個爬蟲調(diào)度端（啟動爬蟲，監(jiān)視爬蟲的運(yùn)行情況），在爬蟲程序中有三個模塊，首先，URL管理器來對將要爬取的URL和已經(jīng)爬取過的URL這兩個數(shù)據(jù)的管理，從? URL管理器? 取出待爬取的URL，將其傳送給? 網(wǎng)頁下載器? ，下載器會將網(wǎng)頁指定的URL下載下來，儲存成一個字符串，這個字符串會傳送給? 網(wǎng)頁解析器? 進(jìn)行解析，一方面會解析出有價值的數(shù)據(jù)，另一方面，每個網(wǎng)頁都會解析出指向其他網(wǎng)頁的URL，這些URL被解析出來之后，可以補(bǔ)充進(jìn)URL管理器，URL管理器，網(wǎng)頁下載器，網(wǎng)頁解析器就形成一個循環(huán)，只要有相關(guān)的URL，就會一直運(yùn)行下去
查看全部 -
http://www.crummy.com/software/BeautifulSoup/
Beautiful Soup下載?
查看全部 -
好查看全部
-
第五章，需要多次看
查看全部 -
舉例來說：見下圖
查看全部 -
分析目標(biāo)：URL格式 數(shù)據(jù)格式 網(wǎng)頁編碼
查看全部 -
課程目標(biāo)：是輕量級爬蟲（不需要登錄的靜態(tài)網(wǎng)頁抓取）
內(nèi)容：爬蟲架構(gòu)（包含什么模塊，以及模塊是怎樣組裝在一起的）
查看全部 -
啟動，停止，監(jiān)視爬蟲的運(yùn)行情況--->爬蟲調(diào)度端
查看全部
舉報