我正在嘗試使用 BeautifulSoup 和 Python 從“etherscan.io”中抓取數(shù)據(jù)。這是網(wǎng)站： https:?//etherscan.io/txspage_soups = []for page in range(1, 51):? url = 'https://etherscan.io/txs?p=' + str(page)? print(url)? req = Request(url, headers={'User-Agent': 'Mozilla/5.0'})? webpage = urlopen(req).read()? page_soup = soup(webpage, "html.parser").find('tbody').find_all('a')? page_soups += page_soup我使用循環(huán)來抓取多個網(wǎng)頁，但只能獲取前 30 頁的數(shù)據(jù)。第31條有錯誤我檢查該網(wǎng)頁，發(fā)現(xiàn)它仍然具有與其他網(wǎng)頁相同的標(biāo)簽和元素。請幫我。
1 回答
慕哥9229398
TA貢獻1877條經(jīng)驗 獲得超6個贊
這是因為 Cloudflare，我在循環(huán)中添加了以下內(nèi)容：
if page%30 == 0: time.sleep(20)
顯然，每 30 個頁面等待 20 秒就足以不被標(biāo)記為機器人。
添加回答
舉報
0/150
提交
取消