大家好，我是梁睿坤，是一家智能科技公司的聯(lián)合創(chuàng)始人，從今天開始我們就將一起開始探討 “網(wǎng)絡(luò)爬蟲” 這個(gè)話題了。
隨著時(shí)代的發(fā)展，互聯(lián)網(wǎng)成為了大量信息的載體，如何有效的獲取這些信息成為了開發(fā)人員一個(gè)巨大的挑戰(zhàn)。因?yàn)橛辛诉@樣的需求所以網(wǎng)絡(luò)爬蟲就應(yīng)運(yùn)而生了：網(wǎng)絡(luò)爬蟲（又被稱為網(wǎng)頁蜘蛛，網(wǎng)絡(luò)機(jī)器人，也被稱為網(wǎng)頁追逐者），是一種按照一定的規(guī)則，自動地抓取互聯(lián)網(wǎng)信息的程序或者腳本。另外一些不常使用的名字還有螞蟻、自動索引、模擬程序或者蠕蟲。
簡單來講，爬蟲就是一個(gè)探測機(jī)器，它的基本操作就是模擬人的行為去各個(gè)網(wǎng)站溜達(dá)，點(diǎn)點(diǎn)按鈕，查查數(shù)據(jù)，把看到的信息給你捕獲回來。就像一只蟲子在一幢樓（爬取的網(wǎng)站）里不知疲倦地爬來爬去?？梢哉f，有了爬蟲，你就有了“分身術(shù)”。每一個(gè)爬蟲都是你的分身，幫你在互聯(lián)網(wǎng)上獲取你所需要的數(shù)據(jù)。
我們?nèi)粘Ｉ钪须x不開的搜索引擎其實(shí)就是一個(gè)巨大的爬蟲，當(dāng)我們在百度的輸入框中輸入你想搜索的問題，并點(diǎn)擊“百度一下”的時(shí)候，百度這個(gè)巨大的爬蟲就會啟動，并且會自動在互聯(lián)網(wǎng)上根據(jù)你輸入的關(guān)鍵詞進(jìn)行匹配，如果有匹配到的結(jié)果，爬蟲就會把結(jié)果呈現(xiàn)在你的面前。
我們來舉個(gè)例子：你是A公司的員工，B公司是你們的競爭對手。你的 Leader 讓你獲取競爭對手網(wǎng)站上商品的價(jià)格、簡介還有購買人數(shù)等等信息來做競品分析。這個(gè)時(shí)候你怎么辦呢？手動去Ctrl+C和Ctrl+V？確實(shí)可以，但這是最笨的方法。數(shù)據(jù)量小的時(shí)候我們可以這樣做，但是數(shù)據(jù)成千上萬的時(shí)候你還要這樣做嗎？
你說可以找別人幫忙，但是你就不想自己動手寫一個(gè)爬蟲程序，在極短的時(shí)間內(nèi)把你想要的數(shù)據(jù)抓取下來并且整理成數(shù)據(jù)表格，然后在你的 Leader 需要的時(shí)候甩到他的臉上嗎？
我知道你想這么做，所以我為你準(zhǔn)備了這個(gè)專欄，在這個(gè)專欄中我會詳細(xì)的帶著你一步一步的實(shí)現(xiàn)你自己的網(wǎng)絡(luò)爬蟲。當(dāng)然了爬蟲能做的不僅僅只有這些，它的實(shí)力很強(qiáng)大，在這里我也不一一舉例了，在后面的小節(jié)里你會慢慢的發(fā)現(xiàn)它的魅力。
在學(xué)習(xí)爬蟲之前你需要掌握以下的一些基礎(chǔ)知識：
- 網(wǎng)絡(luò)爬蟲中常用的Python基礎(chǔ)知識
- HTTP協(xié)議通信原理（我們在瀏覽網(wǎng)頁的時(shí)候是怎樣的一個(gè)過程，他是如何構(gòu)成的？）
- HTML、CSS、JS入門基礎(chǔ)（掌握網(wǎng)頁結(jié)構(gòu)以及從網(wǎng)頁中定位具體的元素）
具備了這些基礎(chǔ)，你就可以開始愉快的學(xué)習(xí)爬蟲了。不過很多同學(xué)和朋友仍然有疑惑：學(xué)完爬蟲之后有什么用呢？
在最新的編程語言排行榜上，Pyhton超越Java，成為了榜一，越來越多的程序員選擇Python，甚至有人說，使用Python是“面向未來編程”。關(guān)于Python與“爬蟲”的關(guān)系，我想不用多說你也能看出來爬蟲的火熱程度。
其次，掌握爬蟲技術(shù)后，你會看到很多不同風(fēng)景，在你使用爬蟲爬取數(shù)據(jù)的過程中，你會感到非常好玩兒，相信我，這種趣味性和好奇心，會讓你對Python有一種天生的喜愛感，為讓你有深入學(xué)習(xí)Python的動力。
另外，在這個(gè)數(shù)據(jù)為王的時(shí)代，互聯(lián)網(wǎng)上充斥著大量形形色色繁雜的數(shù)據(jù)，我們要從這個(gè)龐大的互聯(lián)網(wǎng)上來獲取到我們所需要的數(shù)據(jù)， 爬蟲是不二之選。無論是過去的搜索引擎，還是時(shí)下火爆的數(shù)據(jù)分析，都離不開爬蟲，除了好玩之外，爬蟲是實(shí)實(shí)在在有非常多的用武之地的，事實(shí)上，很多公司在招聘時(shí)，對爬蟲也是有要求的。
我們使用Python開發(fā)爬蟲，Python最強(qiáng)大的地方不在于語言本身而是其龐大而活躍的開發(fā)者社區(qū)和上億量級的第三方工具包。通過這些工具包我們可以快速的實(shí)現(xiàn)一個(gè)又一個(gè)的功能而不用我們自己去造輪子，掌握的工具包越多，我們在編寫爬蟲程序的時(shí)候也就越方便。另外，爬蟲的工作目標(biāo)是“互聯(lián)網(wǎng)”，所以HTTP通信和HTML、CSS、JS這些技能在編寫爬蟲程序的時(shí)候都會用的到。不過不用擔(dān)心，即使你對這些技術(shù)不太了解，在學(xué)習(xí)了本專欄之后也能夠輕松的將這些知識運(yùn)用到我們的爬蟲程序中去。
作為開發(fā)人員，代碼是最好的老師，在實(shí)踐中學(xué)習(xí)，直接靠代碼說話，是我們程序員的學(xué)習(xí)方式，所以，在設(shè)計(jì)這個(gè)專欄的時(shí)候我從眾多素材中選出了幾種具有代表性的課題，我們一起開發(fā)幾種不同類型的爬蟲，實(shí)際生產(chǎn)中，我們所需要的數(shù)據(jù)一般也逃不過這樣的頁面結(jié)構(gòu)：
- 新聞供稿專用爬蟲——爬取RSS訂閱數(shù)據(jù)
- 網(wǎng)易新聞爬蟲——泛爬網(wǎng)技術(shù)
- 網(wǎng)易爬蟲優(yōu)化——大規(guī)模數(shù)據(jù)處理技術(shù)
- 豆瓣讀書爬蟲——測試驅(qū)動設(shè)計(jì)與高級反爬技術(shù)實(shí)踐
- 蘑菇街采集——處理深度繼承javascript網(wǎng)站
- 慢速爬蟲的應(yīng)用舉例——知乎爬蟲
我會帶著大家一一實(shí)現(xiàn)這些頁面結(jié)構(gòu)，實(shí)現(xiàn)技術(shù)各不相同的頁面爬蟲，讓大家通過具體的代碼實(shí)踐了解在什么樣的情況下可以采用什么樣的技術(shù)來處理，遇到了反爬措施我們該如何去解決，通過具體應(yīng)用建立起對爬蟲的具體認(rèn)知，再了解背后的技術(shù)理論。
那么講到這可能有的同學(xué)要問了：編寫完爬蟲程序之后呢？不要著急，在編寫完爬蟲程序之后我還會帶著大家將我們的爬蟲程序部署，真正的讓我們的爬蟲“大展宏圖”。關(guān)于網(wǎng)絡(luò)爬蟲的部署上線，很多其它的教程都沒有講解，但確實(shí)有很多同學(xué)對此有疑惑，不知道該如何部署。雖然看起來部署沒有太多技術(shù)含量，但卻是你不可不會的內(nèi)容。
好了，講到這里我就不再多言。隨著本專欄內(nèi)容的逐步展開，你會慢慢的進(jìn)入一個(gè)新的領(lǐng)域，會發(fā)現(xiàn)網(wǎng)絡(luò)爬蟲不單單是一門簡單的數(shù)據(jù)采集技術(shù)，而是一把能打開“全棧式開發(fā)”大門的鑰匙。
還在等什么呢？現(xiàn)在就開始吧，我們一起學(xué)爬蟲，一起玩爬蟲，一起用爬蟲吧。