我有一個(gè)大型數(shù)據(jù)集（以百萬為單位的行數(shù)），我將其讀入名為datafile的 pandas DataFrame中。每行都有一個(gè)訂單 ID 號(hào) - 這不是唯一的。所以我的數(shù)據(jù)文件看起來像這樣Price Qty OrderId26690 3000 121377226700 3000 121567326705 6000 121665626700 3000 121377226710 3000 1215673現(xiàn)在，我想要的是，對于每一行 - 獲取 OrderID，在 DataFrame 中找到該 OrderID 的先前出現(xiàn)并獲取相應(yīng)的價(jià)格，并將其填充到新列“Prev_Price”中。如果沒有找到以前的匹配項(xiàng)，則將值保持為 0。所以我的輸出應(yīng)該如下所示Price Qty OrderId Prev_Price26690 3000 1213772 026700 3000 1215673 026705 6000 1216656 026700 3000 1213772 2669026710 3000 1215673 26700我嘗試使用 numpy 并編寫了這個(gè)函數(shù)def getPrevPrice_np(x): try: return list(datanp[np.where(datanp[0:x,2]==datanp[x,2])][:,0])[-1] except: return 0我這樣申請datanp = datafile.valuesdatafile['Prev_Price'] = pd.Series(datafile.index).apply(getPrevPrice_np)但是對于我的要求來說它仍然很慢 - 實(shí)現(xiàn)這個(gè)的最快方法是什么？
1 回答
達(dá)令說
TA貢獻(xiàn)1821條經(jīng)驗(yàn) 獲得超6個(gè)贊
這更快：
datafile['Prev_Price'] = datafile.groupby('OrderId')['Price'].shift(fill_value=0)
它返回：
Price Qty OrderId Prev_Price
0 26690 3000 1213772 0
1 26700 3000 1215673 0
2 26705 6000 1216656 0
3 26700 3000 1213772 26690
4 26710 3000 1215673 26700
現(xiàn)在，在像您發(fā)布的那樣的短數(shù)據(jù)幀上，這種方法實(shí)際上更慢。
但是我用更大的數(shù)據(jù)框做了幾個(gè)測試：
在 100000（十萬）行的數(shù)據(jù)幀上，它大約快 3 倍。
在 1000000（一百萬）行的數(shù)據(jù)幀上，我的機(jī)器上仍然需要大約 1.5 秒，我沒有測量你的方法的執(zhí)行時(shí)間（花費(fèi)太長時(shí)間，我終止了進(jìn)程）。
注意： fill_value是pandas.DataFrame.shift自 pandas 0.24.0 以來的有效參數(shù)。對于舊版本，不要傳遞參數(shù)并NaN稍后使用datafile.fillna(0).
添加回答
舉報(bào)
0/150
提交
取消