Heritrix 是一個由 java 開發(fā)的、開源的網(wǎng)絡(luò)爬蟲，用戶可以使用它來從網(wǎng)上抓取想要的資源。其最出色之處在于它良好的可擴(kuò)展性，方便用戶實現(xiàn)自己的抓取邏輯。本文詳細(xì)介紹了 Heritrix 在 Eclipse 中的配置、運行，最后以抓取北京林業(yè)大學(xué)網(wǎng)站為例，介紹如何對其進(jìn)行擴(kuò)展，實現(xiàn)只抓取特定網(wǎng)站的頁面。

肯定是前嗅的爬蟲啊，我本身就是數(shù)據(jù)工作者，用過不計其數(shù)的爬蟲軟件，后來近段時間我一直都是和前嗅合作的，他們軟件是不僅操作簡單，不會技術(shù)的人都可以使用，而且采集的數(shù)據(jù)非常全面，我應(yīng)該是網(wǎng)上有的都可以采集，我目前還沒有碰到過他采不了的網(wǎng)站，多么嚴(yán)格的反爬蟲網(wǎng)站，都能被他們破解采集數(shù)據(jù)，很強大的。