熊猫填充缺失的时间序列数据.除非失踪超过一天

Question

我有两个不同频率的时间序列。要使用较低频率数据填充值。

这就是我的意思。希望这样能说清楚:

index = [pd.datetime(2022,1,10,1),
pd.datetime(2022,1,10,2),
pd.datetime(2022,1,12,7),
pd.datetime(2022,1,14,12),]
df1 = pd.DataFrame([1,2,3,4],index=index)
2022-01-10 01:00:00 1
2022-01-10 02:00:00 2
2022-01-12 07:00:00 3
2022-01-14 12:00:00 4
index = pd.date_range(start=pd.datetime(2022,1,9),
end = pd.datetime(2022,1,15),
freq='D')
df2 = pd.DataFrame([n+99 for n in range(len(index))],index=index)
2022-01-09  99
2022-01-10  100
2022-01-11  101
2022-01-12  102
2022-01-13  103
2022-01-14  104
2022-01-15  105

最终的df应该只在df1下缺少超过一天的情况下填充值。所以结果应该是:

2022-01-09 00:00:00 99
2022-01-10 01:00:00 1
2022-01-10 02:00:00 2
2022-01-11 00:00:00 101
2022-01-12 07:00:00 3
2022-01-13 00:00:00 103
2022-01-14 12:00:00 4
2022-01-15 00:00:00 105

你知道怎么做吗?

Answer 1

您可以将df2筛选为只保留新的日期，并将concat筛选为df1:

import numpy as np
idx1 = pd.to_datetime(df1.index).date
idx2 = pd.to_datetime(df2.index).date
df3 = pd.concat([df1, df2[~np.isin(idx2, idx1)]]).sort_index()

输出:

0
2022-01-09 00:00:00   99
2022-01-10 01:00:00    1
2022-01-10 02:00:00    2
2022-01-11 00:00:00  101
2022-01-12 07:00:00    3
2022-01-13 00:00:00  103
2022-01-14 12:00:00    4
2022-01-15 00:00:00  105