我有一個大型音樂網(wǎng)站，擁有大型藝術(shù)家數(shù)據(jù)庫。我一直注意到其他音樂網(wǎng)站正在抓取我們網(wǎng)站的數(shù)據(jù)（我在這里和那里輸入虛擬的藝術(shù)家名稱，然后用google搜索它們）。如何防止屏幕刮擦？可能嗎
3 回答
慕村9548890
TA貢獻1884條經(jīng)驗 獲得超4個贊
我想你已經(jīng)成立了robots.txt。
正如其他人提到的那樣，抓取工具可以偽造其活動的幾乎所有方面，并且很難識別來自壞人的請求。
我會考慮：
設(shè)置頁面
/jail.html。禁止訪問中的頁面
robots.txt（因此，尊敬的蜘蛛將永遠不會訪問）。將鏈接放在您的頁面之一上，并用CSS（
display: none）將其隱藏。記錄訪問者的IP地址
/jail.html。
這可能有助于您快速識別來自刮板的請求，而這些請求顯然無視您的robots.txt。
你可能也想使你的/jail.html整個整個網(wǎng)站具有相同的，準確的標記為正常的網(wǎng)頁，而是用假數(shù)據(jù)（/jail/album/63ajdka，/jail/track/3aads8等）。這樣，只有當(dāng)您有機會完全阻止它們時，不良的刮板才會收到“異常輸入”的警報。
添加回答
舉報
0/150
提交
取消