第七色在线视频,2021少妇久久久久久久久久,亚洲欧洲精品成人久久av18,亚洲国产精品特色大片观看完整版,孙宇晨将参加特朗普的晚宴

為了賬號安全，請及時綁定郵箱和手機(jī)立即綁定
已解決430363個問題，去搜搜看，總會有你想問的

網(wǎng)頁上通過ajax異步加載的數(shù)據(jù)有什么辦法抓取到嗎？

網(wǎng)頁上通過ajax異步加載的數(shù)據(jù)有什么辦法抓取到嗎？

最近要到某網(wǎng)站上抓取一些數(shù)據(jù)，我到該網(wǎng)站上看了一下，發(fā)現(xiàn)我要抓取的數(shù)據(jù)是通過ajax異步加載的，有什么辦法可以抓取到嗎？我打算使用node.js或者php
查看完整描述

2 回答

?
牧羊人nacy

TA貢獻(xiàn)1862條經(jīng)驗(yàn) 獲得超7個贊

題主搜一搜headlessbrowser，前端測試框架什么的。
其實(shí)有很多方案，selenium，phantomjs，casperjs，qtwebkit等等等等
我們采用的是casperjs。把每個ajax請求完成后保存網(wǎng)頁，放入隊(duì)列，這樣的話后面的分析程序就只要分析html就好了。
casperjs這貨和nodejs一起使用的時候時不時會有點(diǎn)小問題（我遇到的問題都不大，很好解決），如果不想麻煩，npm安裝spookyjs，據(jù)說就可以把casperjs作為node的模塊來使用了。
當(dāng)然，請求不復(fù)雜，無需驗(yàn)證的話，直接觀察請求就可以了。
查看完整回答
反對 回復(fù) 2019-04-09
  • 2 回答
  • 0 關(guān)注
  • 460 瀏覽
慕課專欄
更多

添加回答

舉報

0/150
提交
取消
微信客服

購課補(bǔ)貼
聯(lián)系客服咨詢優(yōu)惠詳情

 幫助反饋 APP下載

慕課網(wǎng)APP
您的移動學(xué)習(xí)伙伴

 公眾號

掃描二維碼
關(guān)注慕課網(wǎng)微信公眾號