嘗試爬了一個國外的招聘網(wǎng)站www.indeed.com. 當(dāng)選擇了在美國的職位后，網(wǎng)頁返回的搜索結(jié)果大概有3百萬條。但是網(wǎng)頁每次顯示10條，最終有100頁。 我用的python request 和beautifulsoup 能爬下這1000條數(shù)據(jù)。但是我的目標(biāo)是爬下這近3百萬條的數(shù)據(jù)。期間嘗試過先爬完顯示的100頁然后進行多次的循環(huán)，也就是反復(fù)的爬這100頁。但是重復(fù)率很高。 有沒有很好地解決辦法能爬完所有的搜索結(jié)果（近300萬的數(shù)據(jù)）？