我有一個包含兩列的數(shù)據(jù)框，每一列由一組日期組成。我想計算日期之間的差異并返回天數(shù)。但是，該過程（如上所述）非常緩慢。有誰知道如何加速這個過程？這段代碼被用在一個大文件中，速度很重要。dfx = pd.DataFrame([[datetime(2014,1,1), datetime(2014,1,10)],[datetime(2014,1,1), datetime(2015,1,10)],[datetime(2013,1,1), datetime(2014,1,12)]], columns = ['x', 'y'])dfx['diffx'] = dfx['y']-dfx['x']dfx['diff'] = dfx['diffx'].apply(lambda x: x.days)dfx最終目標(biāo)：
1 回答
一只甜甜圈
TA貢獻(xiàn)1836條經(jīng)驗 獲得超5個贊
您可能會發(fā)現(xiàn)NumPy的邊緣大幅加速，繞過了與pd.Series對象相關(guān)的開銷。
# Python 3.6.0, Pandas 0.19.2, NumPy 1.11.3
def days_lambda(dfx):
return (dfx['y']-dfx['x']).apply(lambda x: x.days)
def days_pd(dfx):
return (dfx['y']-dfx['x']).dt.days
def days_np(dfx):
return (dfx['y'].values-dfx['x'].values) / np.timedelta64(1, 'D')
# check results are identical
assert (days_lambda(dfx).values == days_pd(dfx).values).all()
assert (days_lambda(dfx).values == days_np(dfx)).all()
dfx = pd.concat([dfx]*100000)
%timeit days_lambda(dfx) # 5.02 s per loop
%timeit days_pd(dfx) # 5.6 s per loop
%timeit days_np(dfx) # 4.72 ms per loop
添加回答
舉報
0/150
提交
取消