我有一個(gè)大數(shù)據(jù)庫(kù)（2.4 億行），分為多個(gè)塊，塊開(kāi)始標(biāo)記（sob）作為列之一，130 萬(wàn)個(gè)塊。我創(chuàng)建了一個(gè) block_start 系列：block_start = pd.series(df[df.sob == True].index)并計(jì)算塊長(zhǎng)度系列：block_len = block_start.shift(-1) - block_start.現(xiàn)在我需要在布爾列中查找每個(gè)塊是否包含至少一個(gè)信號(hào)（真）：signals = []for i in range(len(block_start)): signals.append(df.signal[block_start[i]:block_start[i]+block_len[i]].any())上述循環(huán)需要 20 分鐘。任何想法如何縮短它？
2 回答
守候你守候我
TA貢獻(xiàn)1802條經(jīng)驗(yàn) 獲得超10個(gè)贊
groupby+ cumsum+any
您可以groupby計(jì)算sob系列的累計(jì)總和：
df = pd.DataFrame({'signal': [True, False, True, False, False,
False, True, False, False, False],
'sob': [True, False, False, False, True,
False, False, True, False, False]})
df['any_flag'] = df.groupby(df['sob'].cumsum())['signal'].transform('any')
print(df)
signal sob any_flag
0 True True True
1 False False True
2 True False True
3 False False True
4 False True True
5 False False True
6 True False True
7 False True False
8 False False False
9 False False False
添加回答
舉報(bào)
0/150
提交
取消