我用 python 編寫了一個(gè)腳本，從網(wǎng)頁(yè)上抓取不同帖子的前五個(gè)標(biāo)題，然后將標(biāo)題寫入單獨(dú)的文本文件，并將它們放在桌面文件夾中的五個(gè)不同子文件夾中DataStorage。目前我的以下腳本可以解析五個(gè)帖子的標(biāo)題并將它們寫入五個(gè)不同的文本文件中，然后將它們放在桌面文件夾中DataStorage。如何在一個(gè)主文件夾中創(chuàng)建五個(gè)不同的子文件夾并將文本文件放在相關(guān)的子文件夾中？到目前為止，這是我的嘗試：import osimport requestsfrom bs4 import BeautifulSoupurl = "https://stackoverflow.com/questions/tagged/web-scraping"dirf = r"C:\Users\WCS\Desktop\DataStorage" #The main folder in desktopif not os.path.exists(dirf):os.makedirs(dirf)os.chdir(dirf)res = requests.get(url)soup = BeautifulSoup(res.text,"lxml")for item in soup.select(".summary .question-hyperlink")[:5]: filename = item.text.split(" ")[0] with open(filename+'.txt','w', encoding='utf-8') as filename: filename.write(item.text)
3 回答
肥皂起泡泡
TA貢獻(xiàn)1829條經(jīng)驗(yàn) 獲得超6個(gè)贊
要?jiǎng)?chuàng)建目錄，您可以使用os.mkdir(PATH). 要?jiǎng)?chuàng)建文件，您可以open使用具有w+權(quán)限的文件，如果文件不存在則創(chuàng)建該文件，如果存在則重寫該文件。
精慕HU
TA貢獻(xiàn)1845條經(jīng)驗(yàn) 獲得超8個(gè)贊
os.chdir如果可以避免，請(qǐng)不要使用它，即：大部分時(shí)間/總是。
此外，它會(huì)阻止您了解當(dāng)前目錄之外的文件路徑的邏輯。
最好在您正在讀/寫的文件上使用絕對(duì)路徑。
所以刪除
os.chdir(dirf)
現(xiàn)在改變這個(gè)：
with open(filename+'.txt','w', encoding='utf-8') as filename:
經(jīng)過(guò)
subdir = os.path.join(dirf,item)
if os.path.exists(subdir):
os.mkdir(subdir) # create first time
with open(os.path.join(subdir,filename+'.txt'),'w', encoding='utf-8') as f:
f.write(item.text)
item您的子目錄相對(duì)路徑在哪里（它必須符合當(dāng)前的文件系統(tǒng)規(guī)則，由于它源自 html 文件，因此不能 100% 保證）。另請(qǐng)注意，您不應(yīng)filename再次使用文件句柄。我通常使用f或filehandle
添加回答
舉報(bào)
0/150
提交
取消