我正在嘗試從ratemyprofessors.com 中提取完整的HTML,但是在頁(yè)面底部,有一個(gè)“加載更多評(píng)級(jí)”按鈕,可讓您查看更多評(píng)論。我正在使用 requests.get(url) 和 beautifulsoup,但這只給出前 20 條評(píng)論。有沒有辦法讓頁(yè)面在返回之前加載所有評(píng)論?這是我目前正在做的,給出了前 20 條評(píng)論,但不是全部。 response = requests.get(url) soup = BeautifulSoup(response.text, "html.parser") comments = [] for j in soup.findAll('div', attrs={'class': 'Comments__StyledComments-dzzyvm-0 dEfjGB'}): comments.append(j.text)
使用 python 獲取具有動(dòng)態(tài)擴(kuò)展容器的頁(yè)面的完整 HTML
12345678_0001
2024-01-11 16:16:56