首頁猿問反爬蟲技術(shù)如何實(shí)現(xiàn)

反爬蟲技術(shù)如何實(shí)現(xiàn)

JavaScript

翻翻過去那場(chǎng)雪 2019-05-23 10:51:34

爬蟲，我知道一些方法如何去盡量避免被服務(wù)器檢測(cè)到這是爬蟲，如常見的header設(shè)置，還有selenium+chrome模擬等。好奇的是，服務(wù)器怎么樣去檢測(cè)判斷這些請(qǐng)求是爬蟲行為呢？我是做后臺(tái)服務(wù)的，一直沒有想明白，怎么去檢測(cè)是否是爬蟲？看到還有一些更高級(jí)的，甚至都可以檢測(cè)出瀏覽器是被selenium控制的，建立模型分析出這是爬蟲。反爬蟲技術(shù)，完全不會(huì)，希望可以對(duì)這個(gè)介紹一下，最基本的，或者推薦一些書籍、博客、技術(shù)文檔

查看完整描述

2 回答

吃雞游戲

TA貢獻(xiàn)1829條經(jīng)驗(yàn) 獲得超7個(gè)贊

你好，爬蟲的抓取與反制是一個(gè)典型的貓鼠游戲，沒有一通百通一招制勝的絕學(xué)，都是隨著時(shí)代發(fā)展衍生出的一些此消彼長(zhǎng)而已。有關(guān)這方面的技術(shù)，可以看下我之前寫的的一篇博客，介紹的已經(jīng)非常全了，我也同步在了segment網(wǎng)站的專欄里，上了segment的月度精華文章。簡(jiǎn)單地說，對(duì)于如今web技術(shù)當(dāng)中涌現(xiàn)出的各種headless瀏覽器也就是你提到的selenium+chrome模擬等需要服務(wù)端和客戶端配合起來，聯(lián)合對(duì)爬蟲抓取進(jìn)行反制與跟蹤，即使如此，攻擊與防御依然是相對(duì)的，你能做的只是提升抓取者的成本，而不可能一勞永逸。PS：諷刺的是，我發(fā)現(xiàn)我的原創(chuàng)文章同步在了很多個(gè)博客ugc平臺(tái)，唯獨(dú)在segmentfault發(fā)布的版本被很多人匿名轉(zhuǎn)載了，其中恐怕有不少是被野爬的，看來segmentfault的反爬蟲防御門檻很低。不過沒關(guān)系，授人以漁者，自己肯定會(huì)留幾手的，如果你的網(wǎng)站業(yè)務(wù)中真的面臨大量爬蟲抓取的威脅，可以微博或推特聯(lián)系我，不同場(chǎng)景下的爬蟲防御反制技術(shù)需要結(jié)合你們具體業(yè)務(wù)特點(diǎn)來做，我目前手里掌握的一整套手段基本可以通殺市面上開源的各種爬蟲抓取工具，包括headlesschrome（puppeteer）,哦對(duì)了，對(duì)headlesschrome的反制，我博客里提到的一些手段已經(jīng)過時(shí)了，大家轉(zhuǎn)載時(shí)悠著點(diǎn)別把自己坑了哈哈

反對(duì) 回復(fù) 2019-05-23