現(xiàn)在大多數(shù)數(shù)據(jù)庫都支持一次將多條記錄插入數(shù)據(jù)庫。這比一條一條插入記錄要快得多，因為只需要一筆事務(wù)。SQL 語法與此類似：INSERT INTO tbl_name (a,b,c)
VALUES(1,2,3), (4,5,6), (7,8,9);現(xiàn)在我正在一個小項目上使用Python Scrapy。我使用其項目管道將抓取的數(shù)據(jù)存儲到數(shù)據(jù)庫中。然而，項目管道背后的邏輯是，將在每個項目上調(diào)用相關(guān)方法。所以它總是一次插入一個項目。我怎樣才能收集大約 100 個項目并在一次運(yùn)行中插入它們？
1 回答
POPMUISE
TA貢獻(xiàn)1765條經(jīng)驗 獲得超5個贊
您需要將管道重構(gòu)為如下所示：
class DatabasePipeline(object):
def open_spider(self, spider):
#Create database connection
...
#create items list
self.items = []
def process_item(self,item,spider):
self.items.append(item)
if len(self.items)==100:
#constuct SQL query to insert multiple records
...
#execute query and clean self.items
self.items = []
return item
def close_spider(self,spider):
#insert remaining records
if self.items:
#constuct SQL query to insert multiple records
...
#execute query
#close database connection
添加回答
舉報
0/150
提交
取消