如何繞過反爬蟲技術(shù)分析

對于大型網(wǎng)站的爬取我們經(jīng)常會面臨網(wǎng)站設(shè)定的反爬技術(shù)封鎖，比如輸入圖片驗(yàn)證碼、識別圖中漢字，甚至直接禁止你的 ip 等。這樣我們的爬蟲可能剛開始運(yùn)行不久就會遭受嚴(yán)重打擊，無法進(jìn)行下去。如何才能偽裝的更像正常的請求是我們本節(jié)關(guān)注的重點(diǎn)。

1. 反爬封鎖應(yīng)對措施

面對網(wǎng)站的反爬封鎖，我們往往有如下幾個應(yīng)對措施，這些基本的方法已經(jīng)能應(yīng)對大部分網(wǎng)站的封鎖。更為深入的擬人技術(shù)還需要讀者自行去探索，多加實(shí)戰(zhàn)。

1.1 修改請求頭

我們前面爬蟲的第一步都是在請求頭中添加正常瀏覽器的 user-agent，但是請求頭的參數(shù)不止這些，還有一個值也會經(jīng)常被檢查到，那就是 referer 字段，它會告訴服務(wù)器該請求是從哪個頁面鏈接過來的，服務(wù)器基此可以獲得一些信息用于處理，因此為了更好的防止請求被封，我們也要盡量在請求 header 中加上referer 字段以及其正確的值。

另外，user-agent 是每個反爬網(wǎng)站必查的字段，如果大量請求重復(fù)使用固定的 user-agent 值，在某些程序中也會被判定為爬蟲。因此我們可以對所有的請求采用隨機(jī)的 user-agent 值來避免這種反爬檢測。Scrapy 中的中間件 UserAgentMiddleware 就是專門用來設(shè)置請求頭中 user-agent 值的。

1.2 降低請求頻率

正常情況下，我們的每次請求都會被記錄，如果我們請求太快，比如1秒內(nèi)發(fā)送10次請求，這明顯不是手動實(shí)現(xiàn)的，很容易被識別然后采取相應(yīng)措施。我們不管是在普通的爬蟲代碼還是 scrapy 中都要設(shè)置請求的間隔時間，防止被檢測出來。在普通的爬蟲程序中，我們直接使用 python 的 time 模塊，調(diào)用 time.sleep() 方法進(jìn)行延時調(diào)用，而在 Scrapy 中，我們只需要在 settings.py 中設(shè)置 DOWNLOAD_DELAY 的值即可。例如：

DOWNLOAD_DELAY = 2

上述的配置表示我們將兩次請求的間隔設(shè)置為 2 秒，這已經(jīng)是一個符合人正常操作的時間間隔了。不過太過于規(guī)律的請求同樣會被更為智能的程序察覺，為了避免出現(xiàn)這樣的情況，在 Scrapy 框架的配置中提供了 RANDOMIZE_DOWNLOAD_DELAY 參數(shù)。當(dāng)它設(shè)置為 True 時 ，Scrapy 會在兩次下載請求間設(shè)置一個 0.5 * DOWNLOAD_DELAY 到 1.5 * DOWNLOAD_DELAY 之間的一個隨機(jī)延遲時間。

1.3 禁用Cookie

有些網(wǎng)站會通過 Cookie 來發(fā)現(xiàn)爬蟲的蹤跡，因此，我們在進(jìn)行普通網(wǎng)站數(shù)據(jù)爬取時可以考慮關(guān)閉 Cookie：

COOKIES_ENABLED = False

不過，對于一些需要登錄后進(jìn)行操作的，比如我們之前爬取起點(diǎn)用戶書架以及刪除書架上數(shù)據(jù)的爬蟲，則需要使用 COOKIES 的情況下，我們不能禁用 Cookie。所以，特定場景需要特定的配置，不能一概而論。

1.4 驗(yàn)證碼突破

許多做的非常好的網(wǎng)站都會有驗(yàn)證碼校驗(yàn)，比如京東、淘寶的登錄。更為復(fù)雜的還有12306網(wǎng)站那個讓人頭暈的識圖驗(yàn)證等等。目前而言，驗(yàn)證碼技術(shù)從原來的簡單數(shù)字、字母識別，到滑塊拖動、拼圖認(rèn)證以及最新的圖片識別、漢字倒立等，已經(jīng)越來越復(fù)雜和難辨。很多基于機(jī)器學(xué)習(xí)以及深度學(xué)習(xí)的高難度識別算法應(yīng)運(yùn)而生，但這些對于普通程序員而言，難以企及。我們唯有兩方面突破：

• 花錢買服務(wù)：網(wǎng)上有不少專門的驗(yàn)證碼識別服務(wù)提供商，比如幾年前比較流行的若快平臺 (目前官網(wǎng)無法訪問，似乎已經(jīng)涼了)等；
• 開源項(xiàng)目：如果舍不得花錢買服務(wù)的，我們只能寄希望于部分開源工具。好在還是有不少大神愿意將他們的研究代碼、工具進(jìn)行開源，這也使得我們能有機(jī)會去學(xué)習(xí)和使用這些工具去突破驗(yàn)證碼的限制；

1.5 使用 ip 代理

對于一些比較狠的網(wǎng)站，會對一些爬蟲的程序客戶端 ip 進(jìn)行封殺，這樣我們至少在一段時間內(nèi)無法在運(yùn)行該程序去爬取網(wǎng)站數(shù)據(jù)。此時，我們可以使用代理 ip 去隱藏真實(shí)的請求 ip，這樣又可以訪問網(wǎng)站并爬取數(shù)據(jù)。如果這個代理 ip 被封了怎么辦？那就需要有多個可用的代理 ip，一旦發(fā)現(xiàn)該 ip 被封，我們立馬換下一個 ip 代理繼續(xù)請求數(shù)據(jù)。假設(shè)我們有十萬代理 ip，每個代理能支撐我們爬取 1分鐘數(shù)據(jù)，那么我們至少能順利爬取2個多月，且一般1-2天左右，原來被封的 ip 又會被解除禁封。這樣，只要我們有大量的 ip 代理，我們就不怕網(wǎng)站的封殺，能源源不斷獲取相應(yīng)的網(wǎng)站數(shù)據(jù)。那么到哪里去獲取這樣免費(fèi)的代理 ip 呢？同樣有兩種途徑：

• 網(wǎng)絡(luò)上的免費(fèi) ip 代理：免費(fèi)、不穩(wěn)定且大部分不可用；
• 付費(fèi) ip 代理池：略貴、大部分穩(wěn)定可用；

在 github 上也有許多維護(hù)和獲取免費(fèi)代理服務(wù)器地址的項(xiàng)目，我們也可以直接使用這些免費(fèi)的項(xiàng)目幫我們抓取并維護(hù)可用的代理 ip 池。

2. 偽裝成隨機(jī)瀏覽器

我們來看看 Scrapy 給我們提供的、用于偽裝 User-Agent 字段的中間件：UserAgentMiddleware 。其定義位于 scrapy/downloadermiddlewares/useragent.py 文件中，我們來看看其具體內(nèi)容：

class UserAgentMiddleware:
    """This middleware allows spiders to override the user_agent"""

    def __init__(self, user_agent='Scrapy'):
        self.user_agent = user_agent

    @classmethod
    def from_crawler(cls, crawler):
        o = cls(crawler.settings['USER_AGENT'])
        crawler.signals.connect(o.spider_opened, signal=signals.spider_opened)
        return o

    def spider_opened(self, spider):
        self.user_agent = getattr(spider, 'user_agent', self.user_agent)

    def process_request(self, request, spider):
        if self.user_agent:
            request.headers.setdefault(b'User-Agent', self.user_agent)

從上面的代碼我們可以看到，該中間件會從 settings.py 中取得 USER_AGENT 參數(shù)值， 然后進(jìn)行實(shí)例化：

o = cls(crawler.settings['USER_AGENT'])

在處理請求的核心方法 process_request() 會將該值賦給請求頭中的 User-Agent 字段。注意該中間件屬于下載中間件，在 Scrapy 中默認(rèn)被啟用，如下圖所示：

我們來看看如何在這個中間件的基礎(chǔ)上實(shí)現(xiàn)隨機(jī)的 User-Agent 請求：

• 編寫一個基于 UserAgentMiddleware 的中間件類，可以放到 scrapy 項(xiàng)目的 middlewares.py 文件中。這里我們使用 fake-useragent 模塊來幫我們生成各種各樣的 user-agent 值，這樣避免我們手工維護(hù)一個 user-agent 的值列表。該模塊的使用非常簡單：

  (scrapy-test) [root@server china_pub]# python 
  Python 3.8.1 (default, Dec 24 2019, 17:04:00) 
  [GCC 4.8.5 20150623 (Red Hat 4.8.5-39)] on linux
  Type "help", "copyright", "credits" or "license" for more information.
  >>> from fake_useragent import UserAgent
  >>> ua = UserAgent()
  >>> ua.random
  'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_10_1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/37.0.2062.124 Safari/537.36'
  >>> ua.random
  'Mozilla/5.0 (Windows NT 6.3; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/37.0.2049.0 Safari/537.36'
  >>> ua.random
  'Mozilla/5.0 (Windows NT 6.2) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/28.0.1464.0 Safari/537.36'
  >>> ua.random
  'Mozilla/5.0 (Windows NT 6.2; rv:21.0) Gecko/20130326 Firefox/21.0'
  >>> 
  

  注意：使用這個模塊需要聯(lián)網(wǎng)，根據(jù)相應(yīng)的版本要請求網(wǎng)站的相應(yīng)接口，獲取相應(yīng)數(shù)據(jù)。例如我這里的版本是0.1.11，于是請求的 URL 及其接口數(shù)據(jù)如下：

來看我們自定義的中間件代碼如下：

# 寫入位置：scrapy項(xiàng)目的middlewares.py文件中

from scrapy.downloadermiddlewares.useragent import UserAgentMiddleware
from fake_useragent import UserAgent

# ...

class MyUserAgentMiddleware(UserAgentMiddleware):
    def process_request(self, request, spider):
        ua = UserAgent()
        user_agent = ua.random
        if user_agent:
            request.headers.setdefault(b'User-Agent', user_agent)
        return None

• 另外，我們這里繼承了 UserAgentMiddleware 中間件，那么原來的這個中間件就失去了意義、因此，在 settings.py 中，我們要啟用新的設(shè)置 User-Agent 的中間件且關(guān)閉原來的中間件：

  # 代碼位置：scrapy項(xiàng)目的settings.py文件中
  
  DOWNLOADER_MIDDLEWARES = {
     '項(xiàng)目名稱.middlewares.MyUserAgentMiddleware': 500,
     'scrapy.downloadermiddlewares.useragent.UserAgentMiddleware': None,
  }
  

3. 使用代理

在 Scrapy 項(xiàng)目中使用代理是非常簡單的一件事情，我們只需要在發(fā)送的 Request 請求中添加 meta 參數(shù)即可實(shí)現(xiàn)代理功能：

yield Request(url, callback=回調(diào)方法, errback=錯誤回調(diào), meta={"proxy": proxy, "download_timeout": 10})

上面生成的 Request 請求帶上了 meta 參數(shù)，該參數(shù)中又設(shè)置了代理服務(wù)器的地址以及相應(yīng)的超時時間。我們可以簡單來看看代理服務(wù)器的使用：

• 首先我們來自己搭建一個 Nginx 服務(wù)，具體的搭建過程可以參考這個教程: Nginx入門手冊；

• 接著我們使用9999這個端口做為代理轉(zhuǎn)發(fā)端口，相關(guān)的配置如下：

  # nginx.conf
  
  server {
       resolver 114.114.114.114;
       resolver_timeout 5s;
  
       listen 9999;
  
       location / {
           proxy_pass $scheme://$host$request_uri;
           proxy_set_header Host $http_host;
  
           proxy_buffers 256 8k;
           proxy_max_temp_file_size 0;
  
           proxy_connect_timeout 30;
  
           proxy_cache_valid 200 302 10m;
           proxy_cache_valid 301 1h;
           proxy_cache_valid any 1m;
      }
  }
  

• 啟動 nginx 服務(wù)后，我們這個代理服務(wù)就搞定了。我們可以使用 requests 測試下這個代理服務(wù)，看看是不是生效了：

  import requests
  
  proxies = {
    "http": "http://180.76.152.113:9999",
  }
  
  response = requests.get("http://www.china-pub.com/browse/", proxies=proxies)
  response.encoding = 'gbk'
  print(response.text)
  

  上述代碼位于另一臺云服務(wù)器，請求的是互動出版物的圖書分類頁面，這次我們會在 requests 請求中加上我們剛剛配置的代理，使用 nginx 代理轉(zhuǎn)發(fā)請求，請看視頻演示：

往往在 Scrapy 中，我們往往會采用這樣的方式去使用代理服務(wù)：

• 準(zhǔn)備好一個 redis 和 web 服務(wù)。其中 web 服務(wù)往往會使用 django 或者 flask 等 web 框架開發(fā)，用于爬取免費(fèi)的代理 ip，同時會對爬取到的 ip:port 進(jìn)行校驗(yàn)。如果代理 ip 有效則將其緩存至 redis 服務(wù)中，形成有效的 ip 代理池；
• web 服務(wù)會定期檢查 ip 代理池的所有數(shù)據(jù)，對于無效的 ip 及時清除。同時，也會定時爬取新的有效的代理 ip 并保存到 redis 中；
• web 服務(wù)會提供一個獲取當(dāng)前 ip 池內(nèi)有效 HTTP 代理地址的接口，這樣外部應(yīng)用只需要請求這個接口就能獲取一個有效的代理地址；

此外，在 Scrapy 的項(xiàng)目中，我們往往會按照如下的思路進(jìn)行代理爬?。?/p>

限于篇幅，這里不再對整個流程做案例演示，有興趣的讀者可以下去后一步步完成從 ip 代理池服務(wù)的開發(fā)到最后對接 Scrapy 框架的整個過程，推薦測試的網(wǎng)站為新浪微博，這也是 github 上許多案例的測試靶場。

4. 小結(jié)

本小節(jié)中我們主要講述了三方面的內(nèi)容：

• 詳細(xì)介紹了常見的突破反爬封鎖措施；
• 完成一個 Scrapy 中間件實(shí)現(xiàn)偽裝隨機(jī)瀏覽器功能；
• 介紹代理技術(shù)與 Scrapy 項(xiàng)目結(jié)合的方式；

當(dāng)然這些對于淘寶、微博等大廠的反爬技術(shù)而言還遠(yuǎn)遠(yuǎn)不夠。后續(xù)讀者可以技術(shù)深入研究如何突破各種驗(yàn)證碼的校驗(yàn)、模擬人點(diǎn)擊的軌跡，真正實(shí)現(xiàn)模擬用戶瀏覽器請求操作，才能實(shí)現(xiàn)無所不爬的 Spider。