第七色在线视频,2021少妇久久久久久久久久,亚洲欧洲精品成人久久av18,亚洲国产精品特色大片观看完整版,孙宇晨将参加特朗普的晚宴

為了賬號(hào)安全,請(qǐng)及時(shí)綁定郵箱和手機(jī)立即綁定
已解決430363個(gè)問題,去搜搜看,總會(huì)有你想問的

使用 python 獲取具有動(dòng)態(tài)擴(kuò)展容器的頁(yè)面的完整 HTML

使用 python 獲取具有動(dòng)態(tài)擴(kuò)展容器的頁(yè)面的完整 HTML

12345678_0001 2024-01-11 16:16:56
我正在嘗試從ratemyprofessors.com 中提取完整的HTML,但是在頁(yè)面底部,有一個(gè)“加載更多評(píng)級(jí)”按鈕,可讓您查看更多評(píng)論。我正在使用 requests.get(url) 和 beautifulsoup,但這只給出前 20 條評(píng)論。有沒有辦法讓頁(yè)面在返回之前加載所有評(píng)論?這是我目前正在做的,給出了前 20 條評(píng)論,但不是全部。    response = requests.get(url)    soup = BeautifulSoup(response.text, "html.parser")    comments = []    for j in soup.findAll('div', attrs={'class': 'Comments__StyledComments-dzzyvm-0 dEfjGB'}):        comments.append(j.text)
查看完整描述

1 回答

?
拉丁的傳說

TA貢獻(xiàn)1789條經(jīng)驗(yàn) 獲得超8個(gè)贊

BeautifulSoup 更像是靜態(tài)頁(yè)面的 HTML 解析器,而不是更動(dòng)態(tài)的 Web 應(yīng)用程序的渲染器。

您可以通過 Selenium 使用無頭瀏覽器實(shí)現(xiàn)您想要的效果,方法是渲染整個(gè)頁(yè)面并重復(fù)單擊“更多”鏈接,直到?jīng)]有更多內(nèi)容可供加載。

由于您已經(jīng)在使用 Requests,因此另一個(gè)可能有效的選項(xiàng)是 Requests-HTML,它也支持通過調(diào)用.html.render()響應(yīng)對(duì)象進(jìn)行動(dòng)態(tài)渲染。


查看完整回答
反對(duì) 回復(fù) 2024-01-11
  • 1 回答
  • 0 關(guān)注
  • 202 瀏覽

添加回答

舉報(bào)

0/150
提交
取消
微信客服

購(gòu)課補(bǔ)貼
聯(lián)系客服咨詢優(yōu)惠詳情

幫助反饋 APP下載

慕課網(wǎng)APP
您的移動(dòng)學(xué)習(xí)伙伴

公眾號(hào)

掃描二維碼
關(guān)注慕課網(wǎng)微信公眾號(hào)