我有一個 30GB 的 sqllite3 數(shù)據(jù)庫，有 2500 萬行。我想按字符串列對表進行分組，并為每個組創(chuàng)建一個新表，以字符串命名并包含所有列。這可以用 python 和 sqllite3 實現(xiàn)嗎？我可以在 python 中處理塊，但是有 sql 命令嗎？開始表： name = all_entriesa b c dhi 4 234 lalabye 7 342 lulubye 5 433 abcbye 4 234 abdhi 56 435 abchi 3 455 a結(jié)果表：name = byea b c dbye 7 342 lulubye 5 433 abcbye 4 234 abdname = hia b c dhi 4 234 lalahi 56 435 abchi 3 455 a
1 回答
德瑪西亞99
TA貢獻1770條經(jīng)驗 獲得超3個贊
如果您熟悉如何使用 sqlite，您可以利用pandas并將您的表拆分為多個塊，然后將它們推送回您的數(shù)據(jù)庫。
以下是拆分數(shù)據(jù)的方法：
import pandas as pd
df = pd.DataFrame({'a': ['hi', 'bye', 'bye', 'bye', 'hi', 'hi'],
'c': [234, 342, 433, 234, 435, 455],
'b': [4, 7, 5, 4, 56, 3],
'd': ['lala', 'lulu', 'abc', 'abd', 'abc', 'a']})
dfs = {i: df.loc[df['a']==i] for i in df['a'].unique()}
dfs
#{'bye': a b c d
# 1 bye 7 342 lulu
# 2 bye 5 433 abc
# 3 bye 4 234 abd,
# 'hi': a b c d
# 0 hi 4 234 lala
# 4 hi 56 435 abc
# 5 hi 3 455 a}
添加回答
舉報
0/150
提交
取消