首頁猿問 superagent爬取網(wǎng)站出現(xiàn)重...

superagent爬取網(wǎng)站出現(xiàn)重定向問題

JavaScript

收到一只叮咚 2018-11-24 19:16:21

用superagent爬網(wǎng)頁，遇到重定向，拿不到重定向后的響應(yīng)體，該如何解決，如何獲取重定向后的網(wǎng)頁我想獲取501頁面的res，但是他跳轉(zhuǎn)到37018頁面，導(dǎo)致我拿到501頁面的空res。測試了爬取不到的網(wǎng)頁，發(fā)現(xiàn)有2種情況一開始進(jìn)入網(wǎng)頁響應(yīng)碼是200，過一小會刷新變成304一進(jìn)入響應(yīng)碼從301重定向到200，過一小會刷新變成304測試了能爬取到的網(wǎng)頁，發(fā)現(xiàn)有2種情況一進(jìn)入響應(yīng)碼從301重定向到200，過一小會刷新變成304一開始進(jìn)入網(wǎng)頁響應(yīng)碼是200，過一小會刷新變成304啊，我擦，那就沒什么區(qū)別啦，小白不知道這跟我爬不到內(nèi)容有沒有關(guān)系，orz再再補(bǔ)充問題不在重定向，而在于我的正則表達(dá)式匹配問題

查看完整描述

1 回答

POPMUISE

TA貢獻(xiàn)1765條經(jīng)驗獲得超5個贊

你都不看官方文檔的嗎？

Following redirects

By default up to 5 redirects will be followed, however you may specify
this with the res.redirects(n) method:
request
  .get('/some.png')
  .redirects(2)
  .end(callback);

反對回復(fù) 2018-12-17