為了將我的數(shù)據(jù)導出到 CSV 文件,我目前正在使用(主要是因為我從來沒有很好地理解管道):custom_settings = { 'FEED_FORMAT': 'csv', 'FEED_URI' : 'datosAmazon.csv'}這個自定義設置在我的蜘蛛里面。現(xiàn)在,我正在抓取不同類別的物品,例如筆記本電腦和手機。問題是,當我去查看我的數(shù)據(jù)時,事情并沒有組織起來,可能會出現(xiàn)一臺筆記本電腦,然后是一部手機,然后是 2 臺筆記本電腦,手機等等。我目前以這種方式進入不同的類別def start_requests(self): keywords = ['laptop', 'cellphone'] for keyword in keywords: yield Request(self.search_url.format(keyword))有沒有辦法讓數(shù)據(jù)更有條理(2個文件會更好),或者一個簡單的管道解決方案。
1 回答

慕村9548890
TA貢獻1884條經驗 獲得超4個贊
沒有僅設置的方法來實現(xiàn)您想要的。
也就是說,從自定義管道導出到多個文件非常簡單:
scrapy.exporters.CSVItemExporter
在open_spider
方法中創(chuàng)建多個導出器 ( ) (可能將它們存儲在 dict 中)在方法中選擇正確的導出器(基于項目)
process_item
并調用其export_item
關閉
close_spider
方法中的文件
不要忘記激活您的管道:)
添加回答
舉報
0/150
提交
取消