我有數(shù)千個 CSV 文件，每個文件包含數(shù)百列和數(shù)十萬行。對于速度，我只想將數(shù)據(jù)導(dǎo)入我需要的 PANDAS 數(shù)據(jù)幀。我可以使用單獨的元數(shù)據(jù)文件過濾我不需要的 CSV 文件，但我無法弄清楚如何刪除我不需要的列（在導(dǎo)入期間——我知道如何過濾數(shù)據(jù)框的列在它被導(dǎo)入之后，但就像我說的，我試圖避免導(dǎo)入不必要的數(shù)據(jù)）。假設(shè)我有以下 csv 文件：Date/Time Apple Tart Cherry Pie Blueberry Pie Banana Pudding Tomato Soup1:00 2 4 7 6 52:00 3 5 4 5 83:00 1 4 7 4 4我只想導(dǎo)入包含文本“餅圖”以及“日期/時間”列的列。另請注意，我的所有 csv 文件的列名和列數(shù)都不同，因此“usecol”規(guī)范對我不起作用，因為我不知道要輸入的具體列名。
2 回答
楊__羊羊
TA貢獻(xiàn)1943條經(jīng)驗 獲得超7個贊
pandas read_csv中的usecols參數(shù)接受一個函數(shù)來過濾您感興趣的列：
import pandas as pd
from io import StringIO
data = """Date/Time Apple Tart Cherry Pie Blueberry Pie Banana Pudding Tomato Soup
1:00 2 4 7 6 5
2:00 3 5 4 5 8
3:00 1 4 7 4 4"""
df = pd.read_csv(StringIO(data),
sep='\s{2,}',
engine='python',
#this is the key part of the code for your usecase
#looks for columns that contain Pie or Date/Time
#and returns only those columns
#quite extensible as well, since it accepts a function
usecols = lambda x: ("Pie" in x) or ("Date/Time" in x) )
df
Date/Time Cherry Pie Blueberry Pie
0 1:00 4 7
1 2:00 5 4
2 3:00 4 7
HUWWW
TA貢獻(xiàn)1874條經(jīng)驗 獲得超12個贊
您可以在將 read_csv() 用作列表時指定列名，例如：
df=pd.read_csv('fila.csv',names=['columnName#1','columnName3'])看我沒有使用“columnName2”。
添加回答
舉報
0/150
提交
取消