首頁猿問抓取表中的行需要與先前的元素關(guān)聯(lián)

抓取表中的行需要與先前的元素關(guān)聯(lián)

Python

當(dāng)年話下 2023-07-18 17:46:06

我想從這個網(wǎng)站上抓取表格： https ://www.oddsportal.com/moving-margins/我需要表內(nèi)的數(shù)據(jù)#moving_margins_content_overall我嘗試了這段代碼，但有些游戲包含許多 class="odd" 并且我不知道如何將 class="odd" 數(shù)據(jù)與 class="dark" 數(shù)據(jù)關(guān)聯(lián)import requestsfrom bs4 import BeautifulSoupimport timeimport jsonimport csvfrom selenium import webdriveru = 'https://www.oddsportal.com/moving-margins/'driver = webdriver.Chrome(executable_path=r"C:\chromedriver.exe")driver.get(u)driver.execute_script("window.scrollTo(0, document.body.scrollHeight)") driver.implicitly_wait(60) # secondstime.sleep(2)elem = driver.find_element_by_xpath("//*")source_code = elem.get_attribute("innerHTML")soup = BeautifulSoup(source_code, 'html.parser')for k in soup.select('#moving_margins_content_overall .table-main tbody tr'): sport = k.select_one('tr.dark th > a').get_text(strip=True) #sport country = soup.select_one('tr.dark th a:nth-child(3) span').get_text(strip=True) #country competition = soup.select_one('tr.dark th a:nth-child(5)').get_text(strip=True) #sport

查看完整描述

1 回答

PIPIONE

TA貢獻(xiàn)1829條經(jīng)驗獲得超9個贊

您可以使用下面的代碼將所有數(shù)據(jù)存儲在一個列表中，其中頁面中的每一行都存儲為列表。

u = 'https://www.oddsportal.com/moving-margins/'

driver = webdriver.Chrome(executable_path=r"C:\chromedriver.exe")

driver.maximize_window()

driver.get(u)

#Use Explicit time wait for fast execution

WebDriverWait(driver, 30).until(EC.presence_of_element_located((By.CSS_SELECTOR, "#moving_margins_content_overall")))

driver.execute_script("window.scrollTo(0, document.body.scrollHeight)")

table_data = driver.find_elements_by_xpath("//div[@id='moving_margins_content_overall']//tr[@class='odd' or @class='dark']")

table =[]

# Creating a list of lists, where each list consist all data in each row either with class dark or odd

for data in table_data:

row = []

dark_row = data.find_elements_by_xpath((".//th//a"))

for col in dark_row:

row.append(col.text.replace("\n"," "))

row.append(data.find_element_by_xpath(".//following-sibling::tr//th[@class='first2']").text)# Add data in first2 th

odd_row = data.find_elements_by_xpath((".//following-sibling::tr[@class='odd']//td"))

for col in odd_row:

row.append(col.text.replace("\n", " "))

row.append(odd_row[-1].find_element_by_xpath('.//a').get_attribute("title")) #Add bookmaker name

table.append(row)

for t in table:

print(t)

輸出正如您所看到的橄欖球聯(lián)盟比賽有兩種賠率，因此該比賽的列表很長。

反對回復(fù) 2023-07-18

1 回答
0 關(guān)注
193 瀏覽

關(guān)注

添加回答

舉報

0/150

提交

取消

使用 Ctrl+D 可將網(wǎng)站添加到書簽

微信客服

購課補貼
聯(lián)系客服咨詢優(yōu)惠詳情

幫助反饋 APP下載

慕課網(wǎng)APP
您的移動學(xué)習(xí)伙伴

公眾號

掃描二維碼
關(guān)注慕課網(wǎng)微信公眾號

第七色在线视频,2021少妇久久久久久久久久,亚洲欧洲精品成人久久av18,亚洲国产精品特色大片观看完整版,孙宇晨将参加特朗普的晚宴

熱搜

最近搜索清空

抓取表中的行需要與先前的元素關(guān)聯(lián)

抓取表中的行需要與先前的元素關(guān)聯(lián)

1 回答

添加回答