我修改了這篇文章中的一行，以有條件地從 csv 文件中讀取行：filename=r'C:\Users\Nutzer\Desktop\Projects\UK_Traffic_Data\test.csv'
df = (pd.read_csv(filename, error_bad_lines=False) [lambda x: x['Accident_Index'].str.startswith('2005')])這條線對(duì)于小型測(cè)試數(shù)據(jù)集來(lái)說(shuō)效果非常好。但是，我確實(shí)有一個(gè)很大的 csv 文件需要讀取，并且讀取該文件需要很長(zhǎng)時(shí)間。事實(shí)上，最終還是NotebookApp.iopub_data_rate_limit達(dá)到了。我的問(wèn)題是：有沒(méi)有辦法改進(jìn)這段代碼及其性能？“Accident_Index”列中的記錄已排序。因此，如果達(dá)到“Accident_Index”不等于的值，則中斷讀取語(yǔ)句可能是一種解決方案str.startswith('2005')。您對(duì)如何做到這一點(diǎn)有什么建議嗎？這是一些示例數(shù)據(jù)：所需的輸出應(yīng)該是包含前六條記錄的 pandas 數(shù)據(jù)框。
1 回答
慕尼黑的夜晚無(wú)繁華
TA貢獻(xiàn)1864條經(jīng)驗(yàn) 獲得超6個(gè)贊
我們最初可以根據(jù)上述條件僅讀取我們想要過(guò)濾的特定列（假設(shè)這會(huì)顯著減少讀取開(kāi)銷）。
#reading the mask column
df_indx = (pd.read_csv(filename, error_bad_lines=False,usecols=['Accident_Index'])
[lambda x: x['Accident_Index'].str.startswith('2005')])
然后，我們可以使用該列中的值，使用skiprows和nrows屬性從文件中讀取剩余的列，因?yàn)樗鼈兪禽斎胛募械呐判蛑?/p>
df_data= (pd.read_csv(filename,
error_bad_lines=False,header=0,skiprows=df_indx.index[0],nrows=df_indx.shape[0]))
df_data.columns=['Accident_index','data']
這將給出我們想要的數(shù)據(jù)的子集。我們可能不需要單獨(dú)獲取列名。
添加回答
舉報(bào)
0/150
提交
取消