第七色在线视频,2021少妇久久久久久久久久,亚洲欧洲精品成人久久av18,亚洲国产精品特色大片观看完整版,孙宇晨将参加特朗普的晚宴

為了賬號(hào)安全,請及時(shí)綁定郵箱和手機(jī)立即綁定
已解決430363個(gè)問題,去搜搜看,總會(huì)有你想問的

如何快速爬取網(wǎng)頁上用ajax加載但需要appid/appkey才能授權(quán)拿到內(nèi)容?

如何快速爬取網(wǎng)頁上用ajax加載但需要appid/appkey才能授權(quán)拿到內(nèi)容?

ibeautiful 2019-05-22 15:42:05
首先聲明,這是非商業(yè)目的、純個(gè)人興趣的學(xué)習(xí)。python新手,問題如果幼稚請見諒。我想爬的這個(gè)網(wǎng)頁,是用ajax動(dòng)態(tài)加載,發(fā)送post請求到第三方后臺(tái)(SaaS),驗(yàn)證后以json格式返回內(nèi)容,然后顯示在網(wǎng)頁上。因?yàn)槿鄙賏ppid/appkey,我無法直接用requests庫發(fā)送post請求拿到內(nèi)容,直接抓取的結(jié)果是"Unauthorized"。Appid/Appkey我肯定是拿不到了,這是不是就是說通過requests請求這條路行不通了?點(diǎn)下一頁->加載->等10秒……想知道有沒有什么比較快速的方法爬到想要的數(shù)據(jù)呢?
查看完整描述

2 回答

?
臨摹微笑

TA貢獻(xiàn)1982條經(jīng)驗(yàn) 獲得超2個(gè)贊

[自問自答]我后來發(fā)現(xiàn)了,用chromedevtool其實(shí)可以看到頁面本身請求數(shù)據(jù)時(shí)發(fā)送的appid/appkey,不過不是以這樣的paramname呈現(xiàn)出來,所以一開始被我忽視了。實(shí)際上只要把這兩個(gè)鍵值對加進(jìn)header里,并加上chrome里看得到的payload信息,用requests發(fā)送POST請求,就可以直接調(diào)取數(shù)據(jù)庫信息了。
                            
查看完整回答
反對 回復(fù) 2019-05-22
?
梵蒂岡之花

TA貢獻(xiàn)1900條經(jīng)驗(yàn) 獲得超5個(gè)贊

一般來講,selenium跟requests的最大區(qū)別就是幫你解析并執(zhí)行html,css,js等(耗時(shí)長)。其中解析js是你最希望的,如果你可以手動(dòng)解析js填上Appid/Appkey,完全可以用requests完成。
                            
查看完整回答
反對 回復(fù) 2019-05-22
  • 2 回答
  • 0 關(guān)注
  • 312 瀏覽
慕課專欄
更多

添加回答

舉報(bào)

0/150
提交
取消
微信客服

購課補(bǔ)貼
聯(lián)系客服咨詢優(yōu)惠詳情

幫助反饋 APP下載

慕課網(wǎng)APP
您的移動(dòng)學(xué)習(xí)伙伴

公眾號(hào)

掃描二維碼
關(guān)注慕課網(wǎng)微信公眾號(hào)