首先聲明,這是非商業(yè)目的、純個(gè)人興趣的學(xué)習(xí)。python新手,問題如果幼稚請見諒。我想爬的這個(gè)網(wǎng)頁,是用ajax動(dòng)態(tài)加載,發(fā)送post請求到第三方后臺(tái)(SaaS),驗(yàn)證后以json格式返回內(nèi)容,然后顯示在網(wǎng)頁上。因?yàn)槿鄙賏ppid/appkey,我無法直接用requests庫發(fā)送post請求拿到內(nèi)容,直接抓取的結(jié)果是"Unauthorized"。Appid/Appkey我肯定是拿不到了,這是不是就是說通過requests請求這條路行不通了?點(diǎn)下一頁->加載->等10秒……想知道有沒有什么比較快速的方法爬到想要的數(shù)據(jù)呢?
如何快速爬取網(wǎng)頁上用ajax加載但需要appid/appkey才能授權(quán)拿到內(nèi)容?
ibeautiful
2019-05-22 15:42:05