我每天使用多條盤(pán)中線來(lái)處理時(shí)間序列數(shù)據(jù)。我希望能夠根據(jù)僅按天分組的數(shù)據(jù)做出決策，而不是作為.groupby()目前我正在做一個(gè)循環(huán)，比如np.unique(df.index.date)每天應(yīng)用計(jì)算，但這在大型數(shù)據(jù)集上非常耗時(shí)。for day in np.unique(df.index.date): if df[day.strftime("%Y-%m-%d")].count()[0] != 5: df.drop(df[df.index.date == day].index, inplace=True)一段數(shù)據(jù)可能如下所示：Date_Time EB2018-09-13 9:20:00 69.452018-09-13 9:30:00 69.442018-09-13 9:40:00 69.332018-09-13 9:50:00 69.342018-09-13 10:00:00 69.362018-09-14 9:20:00 69.452018-09-14 9:30:00 69.442018-09-14 9:40:00 69.332018-09-14 9:50:00 69.342018-09-14 10:00:00 69.36該代碼正在遍歷每個(gè)日期時(shí)間并刪除任何沒(méi)有 5 行的日期。
1 回答
茅侃侃
TA貢獻(xiàn)1842條經(jīng)驗(yàn) 獲得超22個(gè)贊
我認(rèn)為您應(yīng)該能夠在不循環(huán) Python 的情況下做到這一點(diǎn)，并通過(guò)矢量化命令來(lái)利用 C 級(jí)速度。制作一系列日期，進(jìn)行值計(jì)數(shù)，使用值計(jì)數(shù)標(biāo)記要保留的數(shù)據(jù)，并過(guò)濾掉不需要的數(shù)據(jù)。
# Make a series to use as a mapping for dates which should be kept
dates_with_more_than_5 = df["Date_Time"].dt.date.value_counts() > 4
# Make a column in the DataFrame which indicates which data to keep
df["keeper_data"] = df["Date_Time"].dt.date.map(dates_with_more_than_5).fillna(False)
# Filter the data and drop the keeper "flag" column
df = df[df["keeper_data"].drop(columns="keeper_data"]
你可以用更少的行來(lái)做到這一點(diǎn)，但這很容易閱讀。
編輯：另外，我不明白為什么這不能用groupby
添加回答
舉報(bào)
0/150
提交
取消