我正在關(guān)注YT上的一些視頻，以了解有關(guān)Web抓取的一些知識。我無法找到的一件事是，當(dāng)所有ID都不同時，我該如何拉取項目？soup_findAll(#,{#,:#})目前，我正在從 中提取監(jiān)視器信息，當(dāng)我檢查元素時，id 是 、等，但類適用于所有元素。我如何將所有 ID 都拉入，而不必單獨(dú)拉取每個 ID？MicroCenterpwrapper_0pwrapper_1product_wrapper以下是我到目前為止的代碼：from urllib.request import urlopen as uReqfrom bs4 import BeautifulSoup as soupmy_url = 'https://www.microcenter.com/search/search_results.aspx?Ntk=all&sortby=match&N=4294966896+4294821085&myStore=true'# opening up connection, grabbing the pageuClient = uReq(my_url)# stores content into variablepage_html = uClient.read()# closes clientuClient.close()# html parsingpage_soup = soup(page_html, 'html.parser')# grabs each product, hopefullycontainers = page_soup.findAll('id', {'pwrapper_#': 'product_wrapper'})print(len(containers))注意：我知道pwrapper_#在那里，它只是一個#來回答這個問題。謝謝！
1 回答
慕碼人2483693
TA貢獻(xiàn)1860條經(jīng)驗(yàn) 獲得超9個贊
**您可以通過僅使用product_wrapper類來選擇所有產(chǎn)品，您也可以使用for loop在這里選擇每個產(chǎn)品，您可以使用兩種方式。**
from urllib.request import urlopen as uReq
from bs4 import BeautifulSoup as soup
my_url = 'https://www.microcenter.com/search/search_results.aspx?Ntk=all&sortby=match&N=4294966896+4294821085&myStore=true'
uClient = uReq(my_url)
page_html = uClient.read()
uClient.close()
page_soup = soup(page_html, 'html.parser')
containers = page_soup.findAll('li', {'class': 'product_wrapper'})
print(len(containers))
for product in containers :
#your code here
#or
#set how many product you want
productNumber = 16
for i in range(0,productNumber,1):
containers = page_soup.findAll('li', {'id': 'product_wrapper'+i})
#your code here
添加回答
舉報
0/150
提交
取消