爬數(shù)據(jù)遇到302重定向問(wèn)題?
爬數(shù)據(jù)遇到302重定向問(wèn)題,使用代理后會(huì)跳過(guò)該url繼續(xù)爬新的url的數(shù)據(jù)導(dǎo)致數(shù)據(jù)不完整,如何才能判斷并重新爬取該原本url下的數(shù)據(jù)。
使用的是scrapy的框架,謝謝!
爬數(shù)據(jù)遇到302重定向問(wèn)題,使用代理后會(huì)跳過(guò)該url繼續(xù)爬新的url的數(shù)據(jù)導(dǎo)致數(shù)據(jù)不完整,如何才能判斷并重新爬取該原本url下的數(shù)據(jù)。
使用的是scrapy的框架,謝謝!
舉報(bào)