我們公司有一個(gè)模塊的數(shù)據(jù)都是公司的人員用爬蟲去爬的,但是有的網(wǎng)站的數(shù)據(jù)就防止了大量訪問,導(dǎo)致爬蟲無法進(jìn)行。我和你好奇,怎么防止數(shù)據(jù)被爬,希望親們不吝賜教,謝謝。 查看完整描述