嘿伙計(jì)們，我無(wú)法理解如何向 for in range 循環(huán)添加異?！，F(xiàn)在，我正在從 Excel 工作表中提取 URL，并在整個(gè)頁(yè)面中移動(dòng)時(shí)抓取信息，直到到達(dá)第 200 頁(yè)。問(wèn)題是，并非所有 URL 的頁(yè)面都達(dá)到 200，因此需要很長(zhǎng)時(shí)間才能循環(huán)結(jié)束，并且程序可以使用另一個(gè) URL 繼續(xù)。有沒(méi)有辦法在這里的代碼中實(shí)現(xiàn)異常？from selenium import webdriverimport pandas as pdimport timedriver = webdriver.Chrome("C:/Users/Acer/Desktop/chromedriver.exe")companies = []df = pd.read_excel('C:/Users/Acer/Desktop/urls.xlsx')for index, row in df.iterrows(): base_url = (row['urls']) for i in range(1,201,1): url = "{base_url}?curpage={i}".format(base_url=base_url, i=i) driver.get(url) time.sleep(2) name = driver.find_elements_by_xpath('//a/div/div/p') for names in name: print(names.text, url) companies.append([names.text, url])
1 回答
紅糖糍粑
TA貢獻(xiàn)1815條經(jīng)驗(yàn) 獲得超6個(gè)贊
您可以在 Webdriver 上設(shè)置最大超時(shí)Timeout，然后監(jiān)視循環(huán)中的異常：
from selenium.common.exceptions import TimeoutException
MAX_TIMEOUT_SECONDS = 5
driver = webdriver.Chrome("C:/Users/Acer/Desktop/chromedriver.exe")
driver.set_page_load_timeout(MAX_TIMEOUT_SECONDS)
for i in range(1, 201):
? ? try:
? ? ? ? url = "{base_url}?curpage={i}".format(base_url=base_url, i=i)
? ? ? ? driver.get(url)
? ? except TimeoutException:
? ? ? ? # skip this if it takes more than 5 seconds
? ? ? ? continue
? ? ... # process the scraped URL as usual
如果發(fā)生超時(shí)，則通過(guò) 跳過(guò)當(dāng)前迭代continue。
添加回答
舉報(bào)
0/150
提交
取消