我現(xiàn)在在下載美團(tuán)外賣(mài)的數(shù)據(jù)，但是出現(xiàn)了三個(gè)問(wèn)題。一個(gè)是餐館的地址總是變，我第一級(jí)剛把餐館的網(wǎng)址列表拿到，第二級(jí)就顯示我無(wú)權(quán)訪問(wèn)該網(wǎng)頁(yè)。第二個(gè)問(wèn)題是，網(wǎng)頁(yè)在使用DS打數(shù)機(jī)抓取時(shí)就顯示頁(yè)面不存在，但是我用同樣的網(wǎng)址拷貝到瀏覽器中就可以顯示，這是不是意味著美團(tuán)發(fā)現(xiàn)我在下數(shù)據(jù)，進(jìn)行了反爬？第三個(gè)問(wèn)題是，我將網(wǎng)址設(shè)置為下級(jí)線索，但是當(dāng)運(yùn)行上一級(jí)線索 時(shí)應(yīng)該自動(dòng)運(yùn)行下級(jí)線索吧？現(xiàn)在卻沒(méi)有自動(dòng)運(yùn)行，我是在哪里出錯(cuò)了嗎？
1 回答
當(dāng)年話下
TA貢獻(xiàn)1890條經(jīng)驗(yàn) 獲得超9個(gè)贊
1、網(wǎng)址變化的情況是目標(biāo)網(wǎng)站的設(shè)置，爬蟲(chóng)這邊解決不了的，你說(shuō)的無(wú)權(quán)訪問(wèn)該網(wǎng)頁(yè)應(yīng)該不是網(wǎng)址在變，而是跟第二個(gè)問(wèn)題一樣的情況。
2、是遇到反爬了。
3、設(shè)置了層級(jí)采集，兩級(jí)規(guī)則是要分開(kāi)手工運(yùn)行的，不是自動(dòng)連貫的。
4、需要更換代理IP了，找那種高匿或者獨(dú)享的。
添加回答
舉報(bào)
0/150
提交
取消