我已經(jīng)設(shè)置了 BeautifulSoup 來為兩個網(wǎng)頁找到一個特定的類。我想知道如何將每個 URL 的結(jié)果寫入一個 CSV 中的唯一單元格？我可以讀取的 URL 數(shù)量也有限制，因為一旦我開始工作，我想將其擴展到大約 200 個 URL。該類始終相同，我不需要任何格式，只需要每個 URL 一個單元格中的原始 HTML。感謝您的任何想法。from bs4 import BeautifulSoupimport requestsurls = ['https://www.ozbargain.com.au/','https://www.ozbargain.com.au/forum']for u in urls: response = requests.get(u) data = response.text soup = BeautifulSoup(data,'lxml') soup.find('div', class_="block")
1 回答
UYOU
TA貢獻1878條經(jīng)驗 獲得超4個贊
用于pandas處理表格數(shù)據(jù)：pd.DataFrame創(chuàng)建表格，并將pd.to_csv表格保存為 csv（也可以查看文檔，例如追加模式）。
基本上它。
import requests
import pandas as pd
from bs4 import BeautifulSoup
def func(urls):
? ? for url in urls:
? ? ? ? data = requests.get(url).text
? ? ? ? soup = BeautifulSoup(data,'lxml')
? ? ? ? yield {
? ? ? ? ? ? "url": url, "raw_html": soup.find('div', class_="block")
? ? ? ? }
urls = ['https://www.ozbargain.com.au/','https://www.ozbargain.com.au/forum']
data = func(urls)
table = pd.DataFrame(data)
table.to_csv("output.csv", index=False)
添加回答
舉報
0/150
提交
取消