大家好，我是梁睿坤，是一家智能科技公司的聯(lián)合創(chuàng)始人，從今天開始我們就將一起開始探討 “網(wǎng)絡爬蟲” 這個話題了。
隨著時代的發(fā)展，互聯(lián)網(wǎng)成為了大量信息的載體，如何有效的獲取這些信息成為了開發(fā)人員一個巨大的挑戰(zhàn)。因為有了這樣的需求所以網(wǎng)絡爬蟲就應運而生了：網(wǎng)絡爬蟲（又被稱為網(wǎng)頁蜘蛛，網(wǎng)絡機器人，也被稱為網(wǎng)頁追逐者），是一種按照一定的規(guī)則，自動地抓取互聯(lián)網(wǎng)信息的程序或者腳本。另外一些不常使用的名字還有螞蟻、自動索引、模擬程序或者蠕蟲。
簡單來講，爬蟲就是一個探測機器，它的基本操作就是模擬人的行為去各個網(wǎng)站溜達，點點按鈕，查查數(shù)據(jù)，把看到的信息給你捕獲回來。就像一只蟲子在一幢樓（爬取的網(wǎng)站）里不知疲倦地爬來爬去?？梢哉f，有了爬蟲，你就有了“分身術(shù)”。每一個爬蟲都是你的分身，幫你在互聯(lián)網(wǎng)上獲取你所需要的數(shù)據(jù)。
我們?nèi)粘Ｉ钪须x不開的搜索引擎其實就是一個巨大的爬蟲，當我們在百度的輸入框中輸入你想搜索的問題，并點擊“百度一下”的時候，百度這個巨大的爬蟲就會啟動，并且會自動在互聯(lián)網(wǎng)上根據(jù)你輸入的關(guān)鍵詞進行匹配，如果有匹配到的結(jié)果，爬蟲就會把結(jié)果呈現(xiàn)在你的面前。
我們來舉個例子：你是A公司的員工，B公司是你們的競爭對手。你的 Leader 讓你獲取競爭對手網(wǎng)站上商品的價格、簡介還有購買人數(shù)等等信息來做競品分析。這個時候你怎么辦呢？手動去Ctrl+C和Ctrl+V？確實可以，但這是最笨的方法。數(shù)據(jù)量小的時候我們可以這樣做，但是數(shù)據(jù)成千上萬的時候你還要這樣做嗎？
你說可以找別人幫忙，但是你就不想自己動手寫一個爬蟲程序，在極短的時間內(nèi)把你想要的數(shù)據(jù)抓取下來并且整理成數(shù)據(jù)表格，然后在你的 Leader 需要的時候甩到他的臉上嗎？
我知道你想這么做，所以我為你準備了這個專欄，在這個專欄中我會詳細的帶著你一步一步的實現(xiàn)你自己的網(wǎng)絡爬蟲。當然了爬蟲能做的不僅僅只有這些，它的實力很強大，在這里我也不一一舉例了，在后面的小節(jié)里你會慢慢的發(fā)現(xiàn)它的魅力。
在學習爬蟲之前你需要掌握以下的一些基礎知識：
- 網(wǎng)絡爬蟲中常用的Python基礎知識
- HTTP協(xié)議通信原理（我們在瀏覽網(wǎng)頁的時候是怎樣的一個過程，他是如何構(gòu)成的？）
- HTML、CSS、JS入門基礎（掌握網(wǎng)頁結(jié)構(gòu)以及從網(wǎng)頁中定位具體的元素）
具備了這些基礎，你就可以開始愉快的學習爬蟲了。不過很多同學和朋友仍然有疑惑：學完爬蟲之后有什么用呢？
在最新的編程語言排行榜上，Pyhton超越Java，成為了榜一，越來越多的程序員選擇Python，甚至有人說，使用Python是“面向未來編程”。關(guān)于Python與“爬蟲”的關(guān)系，我想不用多說你也能看出來爬蟲的火熱程度。
其次，掌握爬蟲技術(shù)后，你會看到很多不同風景，在你使用爬蟲爬取數(shù)據(jù)的過程中，你會感到非常好玩兒，相信我，這種趣味性和好奇心，會讓你對Python有一種天生的喜愛感，為讓你有深入學習Python的動力。
另外，在這個數(shù)據(jù)為王的時代，互聯(lián)網(wǎng)上充斥著大量形形色色繁雜的數(shù)據(jù)，我們要從這個龐大的互聯(lián)網(wǎng)上來獲取到我們所需要的數(shù)據(jù)， 爬蟲是不二之選。無論是過去的搜索引擎，還是時下火爆的數(shù)據(jù)分析，都離不開爬蟲，除了好玩之外，爬蟲是實實在在有非常多的用武之地的，事實上，很多公司在招聘時，對爬蟲也是有要求的。
我們使用Python開發(fā)爬蟲，Python最強大的地方不在于語言本身而是其龐大而活躍的開發(fā)者社區(qū)和上億量級的第三方工具包。通過這些工具包我們可以快速的實現(xiàn)一個又一個的功能而不用我們自己去造輪子，掌握的工具包越多，我們在編寫爬蟲程序的時候也就越方便。另外，爬蟲的工作目標是“互聯(lián)網(wǎng)”，所以HTTP通信和HTML、CSS、JS這些技能在編寫爬蟲程序的時候都會用的到。不過不用擔心，即使你對這些技術(shù)不太了解，在學習了本專欄之后也能夠輕松的將這些知識運用到我們的爬蟲程序中去。
作為開發(fā)人員，代碼是最好的老師，在實踐中學習，直接靠代碼說話，是我們程序員的學習方式，所以，在設計這個專欄的時候我從眾多素材中選出了幾種具有代表性的課題，我們一起開發(fā)幾種不同類型的爬蟲，實際生產(chǎn)中，我們所需要的數(shù)據(jù)一般也逃不過這樣的頁面結(jié)構(gòu)：
- 新聞供稿專用爬蟲——爬取RSS訂閱數(shù)據(jù)
- 網(wǎng)易新聞爬蟲——泛爬網(wǎng)技術(shù)
- 網(wǎng)易爬蟲優(yōu)化——大規(guī)模數(shù)據(jù)處理技術(shù)
- 豆瓣讀書爬蟲——測試驅(qū)動設計與高級反爬技術(shù)實踐
- 蘑菇街采集——處理深度繼承javascript網(wǎng)站
- 慢速爬蟲的應用舉例——知乎爬蟲
我會帶著大家一一實現(xiàn)這些頁面結(jié)構(gòu)，實現(xiàn)技術(shù)各不相同的頁面爬蟲，讓大家通過具體的代碼實踐了解在什么樣的情況下可以采用什么樣的技術(shù)來處理，遇到了反爬措施我們該如何去解決，通過具體應用建立起對爬蟲的具體認知，再了解背后的技術(shù)理論。
那么講到這可能有的同學要問了：編寫完爬蟲程序之后呢？不要著急，在編寫完爬蟲程序之后我還會帶著大家將我們的爬蟲程序部署，真正的讓我們的爬蟲“大展宏圖”。關(guān)于網(wǎng)絡爬蟲的部署上線，很多其它的教程都沒有講解，但確實有很多同學對此有疑惑，不知道該如何部署。雖然看起來部署沒有太多技術(shù)含量，但卻是你不可不會的內(nèi)容。
好了，講到這里我就不再多言。隨著本專欄內(nèi)容的逐步展開，你會慢慢的進入一個新的領(lǐng)域，會發(fā)現(xiàn)網(wǎng)絡爬蟲不單單是一門簡單的數(shù)據(jù)采集技術(shù)，而是一把能打開“全棧式開發(fā)”大門的鑰匙。
還在等什么呢？現(xiàn)在就開始吧，我們一起學爬蟲，一起玩爬蟲，一起用爬蟲吧。