世界上80%的爬蟲是基于Python開發(fā)的，學(xué)好爬蟲技能，可為后續(xù)的大數(shù)據(jù)分析、挖掘、機(jī)器學(xué)習(xí)等提供重要的數(shù)據(jù)源。
什么是爬蟲？

網(wǎng)絡(luò)爬蟲（又被稱為網(wǎng)頁蜘蛛，網(wǎng)絡(luò)機(jī)器人，在FOAF社區(qū)中間，更經(jīng)常的稱為網(wǎng)頁追逐者），是一種按照一定的規(guī)則，自動地抓取萬維網(wǎng)信息的程序或者腳本。另外一些不常使用的名字還有螞蟻、自動索引、模擬程序或者蠕蟲。

其實(shí)通俗的講就是通過程序去獲取web頁面上自己想要的數(shù)據(jù)，也就是自動抓取數(shù)據(jù)

爬蟲可以做什么？

你可以用爬蟲爬圖片，爬取視頻等等你想要爬取的數(shù)據(jù)，只要你能通過瀏覽器訪問的數(shù)據(jù)都可以通過爬蟲獲取。

爬蟲的本質(zhì)是什么？

模擬瀏覽器打開網(wǎng)頁，獲取網(wǎng)頁中我們想要的那部分?jǐn)?shù)據(jù)

瀏覽器打開網(wǎng)頁的過程：

當(dāng)你在瀏覽器中輸入地址后，經(jīng)過DNS服務(wù)器找到服務(wù)器主機(jī)，向服務(wù)器發(fā)送一個請求，服務(wù)器經(jīng)過解析后發(fā)送給用戶瀏覽器結(jié)果，包括html,js,css等文件內(nèi)容，瀏覽器解析出來最后呈現(xiàn)給用戶在瀏覽器上看到的結(jié)果

所以用戶看到的瀏覽器的結(jié)果就是由HTML代碼構(gòu)成的，我們爬蟲就是為了獲取這些內(nèi)容，通過分析和過濾html代碼，從中獲取我們想要資源。