簡(jiǎn)介：爬蟲(chóng)技術(shù)用來(lái)從互聯(lián)網(wǎng)上自動(dòng)獲取需要的數(shù)據(jù)。課程從對(duì)爬蟲(chóng)的介紹出發(fā)，引入一個(gè)簡(jiǎn)單爬蟲(chóng)的技術(shù)架構(gòu)，然后通過(guò)是什么、怎么做、現(xiàn)場(chǎng)演示三步驟，解釋爬蟲(chóng)技術(shù)架構(gòu)中的三個(gè)模塊。最后，一套優(yōu)雅精美的爬蟲(chóng)代碼實(shí)戰(zhàn)編寫(xiě)，向大家演示了實(shí)戰(zhàn)抓取百度百科1000個(gè)頁(yè)面的數(shù)據(jù)全過(guò)程
第1章 課程介紹
本章對(duì)課程要學(xué)習(xí)的內(nèi)容進(jìn)行概覽，明確告訴大家將從課程中學(xué)到開(kāi)發(fā)一個(gè)爬蟲(chóng)所需的相關(guān)技術(shù)。
第2章 爬蟲(chóng)簡(jiǎn)介以及爬蟲(chóng)的技術(shù)價(jià)值
本章介紹了爬蟲(chóng)技術(shù)的含義，以及爬蟲(chóng)這門(mén)技術(shù)存在的價(jià)值和意義
第3章 簡(jiǎn)單爬蟲(chóng)架構(gòu)
本章介紹了精心提煉的一個(gè)簡(jiǎn)潔爬蟲(chóng)技術(shù)架構(gòu)，通過(guò)動(dòng)態(tài)圖介紹了技術(shù)架構(gòu)實(shí)現(xiàn)爬蟲(chóng)任務(wù)的流程，使大家對(duì)爬蟲(chóng)的整體組成和運(yùn)行流程有整體的把握。
第4章 URL管理器和實(shí)現(xiàn)方法
本章介紹了簡(jiǎn)單爬蟲(chóng)架構(gòu)的URL管理器模塊，用于管理待爬取的URL集合和已爬取的URL集合，也介紹了實(shí)現(xiàn)URL管理器的幾種方法
第5章 網(wǎng)頁(yè)下載器和urllib2模塊
本章介紹了簡(jiǎn)單爬蟲(chóng)架構(gòu)的網(wǎng)頁(yè)下載器模塊，將網(wǎng)頁(yè)下載下來(lái)然后才能進(jìn)行后續(xù)的數(shù)據(jù)提取，本章然后介紹了Python自帶的urllib2模塊的各種使用語(yǔ)法用于網(wǎng)頁(yè)的下載
第6章 網(wǎng)頁(yè)解析器和BeautifulSoup第三方模塊
本章介紹了簡(jiǎn)單爬蟲(chóng)架構(gòu)的網(wǎng)頁(yè)解析器模塊，解析器用于從網(wǎng)頁(yè)中提取價(jià)值數(shù)據(jù)和新的待爬取URL，本章然后介紹了BeautifulSoup這個(gè)強(qiáng)大的第三方模塊用于數(shù)據(jù)的解析和提取
第7章 實(shí)戰(zhàn)演練：爬取百度百科1000個(gè)頁(yè)面的數(shù)據(jù)
本章是課程的核心部分，通過(guò)一套精心設(shè)計(jì)并編寫(xiě)的爬蟲(chóng)代碼，實(shí)現(xiàn)了課程前面講述的簡(jiǎn)單爬蟲(chóng)架構(gòu)中各個(gè)組成部分，爬蟲(chóng)代碼最終完成了百度百科1000個(gè)頁(yè)面的數(shù)據(jù)爬取并進(jìn)行了數(shù)據(jù)展示，本代碼經(jīng)過(guò)配置修改后，可以用來(lái)爬取任何網(wǎng)站數(shù)據(jù)。
第8章 課程總結(jié)
本章回顧了課程講過(guò)的知識(shí)，對(duì)爬蟲(chóng)的技術(shù)架構(gòu)有一個(gè)整體的回顧和把握，另外也對(duì)爬蟲(chóng)技術(shù)的深入發(fā)展將會(huì)遇到的困難進(jìn)行了簡(jiǎn)單展望