requests我正在嘗試使用和來抓取 NBA 統(tǒng)計(jì)數(shù)據(jù)的球員統(tǒng)計(jì)表BeautifulSoup，但我得到的響應(yīng)與我使用“檢查元素”看到的不同包含div該表的類屬性為：class="nba-stat-table__overflow。但是，每當(dāng)我運(yùn)行以下代碼時，我都會得到一個空列表：table = soup.find_all('div',attrs={'class="nba-stat-table__overflow'})這是我的完整代碼：import osimport pandas as pdimport numpy as npfrom bs4 import BeautifulSoupimport requestsurl = 'https://stats.nba.com/players/boxscores/?Season=2018-19&SeasonType=Regular%20Season'response = requests.get(url)soup = BeautifulSoup(response.content,'html.parser')table = soup.find_all('div',attrs={'class="nba-stat-table__overflow'})
1 回答
藍(lán)山帝景
TA貢獻(xiàn)1843條經(jīng)驗(yàn) 獲得超7個贊
基本上頁面是通過加載的JavaScript，所以bs4或requests模塊將無法JavaScript動態(tài)渲染。
你應(yīng)該使用selenium或requests_html模塊來渲染JS，但我注意到網(wǎng)站正在使用API，它可以用來獲取數(shù)據(jù)，所以我調(diào)用了它并提取了數(shù)據(jù)。
import requests
import pandas as pd
params = {
? ? "Counter": "1000",
? ? "DateFrom": "",
? ? "DateTo": "",
? ? "Direction": "DESC",
? ? "LeagueID": "00",
? ? "PlayerOrTeam": "P",
? ? "Season": "2018-19",
? ? "SeasonType": "Regular Season",
? ? "Sorter": "DATE"
}
headers = {
? ? 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:75.0) Gecko/20100101 Firefox/75.0',
? ? "x-nba-stats-origin": "stats",
? ? "x-nba-stats-token": "true",
? ? "Referer": "https://stats.nba.com/players/boxscores/?Season=2018-19&SeasonType=Regular%20Season"
}
def main(url):
? ? r = requests.get(url, params=params, headers=headers).json()
? ? goal = []
? ? for item in r['resultSets']:
? ? ? ? df = pd.DataFrame(item['rowSet'], columns=item['headers'])
? ? ? ? goal.append(df)
? ? new = pd.concat(goal)
? ? print(new)
? ? new.to_csv("data.csv", index=False)
main("https://stats.nba.com/stats/leaguegamelog")
輸出：在線查看
- 1 回答
- 0 關(guān)注
- 219 瀏覽
添加回答
舉報
0/150
提交
取消