網(wǎng)絡(luò)爬蟲是一個(gè)自動(dòng)提取網(wǎng)頁的程序，它為搜索引擎從萬維網(wǎng)上下載網(wǎng)頁，是搜索引擎的重要組成。傳統(tǒng)爬蟲從一個(gè)或若干初始網(wǎng)頁的URL開始，獲得初始網(wǎng)頁上的URL，在抓取網(wǎng)頁的過程中，不斷從當(dāng)前頁面上抽取新的URL放入隊(duì)列,直到滿足系統(tǒng)的一定停止條件。為什么用Python寫爬蟲呢，是因?yàn)镻ython跨平臺，對Linux和windows都有不錯(cuò)的支持；科學(xué)計(jì)算，數(shù)值擬合：Numpy，Scipy；可視化：2d：Matplotlib(做圖很漂亮), 3d: Mayavi2 ，主要是相較于C、C++這樣的語言來說，Python最簡潔，那當(dāng)然啦，爬取網(wǎng)頁采集數(shù)據(jù)信息時(shí)，一定要有大量的IP資源的支持呀，芝、麻HTTP還挺不錯(cuò)的，IP資源豐富，還有去重，這就相當(dāng)于一個(gè)好的助理，處理起工作來也事半功倍啊，嘻嘻。