我們公司有一個(gè)模塊的數(shù)據(jù)都是公司的人員用爬蟲(chóng)去爬的，但是有的網(wǎng)站的數(shù)據(jù)就防止了大量訪問(wèn)，導(dǎo)致爬蟲(chóng)無(wú)法進(jìn)行。我和你好奇，怎么防止數(shù)據(jù)被爬，希望親們不吝賜教，謝謝。