我有一个包含不规则时间事件的数据帧。我想通过为尚未存在的每周添加额外的行(一开始是空的,稍后会填充(来扩展它。这是我到目前为止所拥有的:
import pandas as pd
df = pd.DataFrame({'id' : [1,1,2,2,2],
'date': ['2019-01-01', '2019-02-01', '2019-01-01', '2019-03-01', '2019-05-01'],
'value': [100, 200, 300, 400, 500]})
df["week"] = pd.to_datetime(df["date"]).dt.to_period('W')
all_weeks = pd.period_range(min(df["date"]), max(df["date"]), freq='W')
all_weeks
PeriodIndex(['2018-12-31/2019-01-06', '2019-01-07/2019-01-13',
'2019-01-14/2019-01-20', '2019-01-21/2019-01-27',
'2019-01-28/2019-02-03', '2019-02-04/2019-02-10',
'2019-02-11/2019-02-17', '2019-02-18/2019-02-24',
'2019-02-25/2019-03-03', '2019-03-04/2019-03-10',
'2019-03-11/2019-03-17', '2019-03-18/2019-03-24',
'2019-03-25/2019-03-31', '2019-04-01/2019-04-07',
'2019-04-08/2019-04-14', '2019-04-15/2019-04-21',
'2019-04-22/2019-04-28', '2019-04-29/2019-05-05'],
dtype='period[W-SUN]', freq='W-SUN')
我的数据涵盖 18 周,因此我希望df
扩展,使其具有 18*2 = 36 行,新添加的行为空values
,但两个id
都出现了 18 次。我怎样才能做到这一点?
预期输出:
id week value
1.0 '2018-12-31/2019-01-06' 100
1.0 '2019-01-07/2019-01-13' NaN
...
1.0 '2019-04-29/2019-05-05' NaN
2.0 '2018-12-31/2019-01-06' 300
2.0 '2019-01-07/2019-01-13' NaN
...
我认为这是沿着week
列的外部合并,但我还没有弄清楚他的。
编辑 2019-10-20
要按id
组应用的自定义函数:
def period_index(df, num_weeks=36):
weeks = pd.period_range(min(df["date"]),
periods=num_weeks,
freq='W',
name='week')
return df.reindex(weeks).drop('id', axis=1)
在df
中设置索引:
df.set_index('week', inplace=True)
分组id
并应用我们的函数,清理列和索引:
df.groupby('id').apply(period_index).reset_index().drop('date', axis=1)
输出示例:
id week value
0 1 2018-12-31/2019-01-06 100.0
1 1 2019-01-07/2019-01-13 NaN
2 1 2019-01-14/2019-01-20 NaN
3 1 2019-01-21/2019-01-27 NaN
4 1 2019-01-28/2019-02-03 200.0
5 1 2019-02-04/2019-02-10 NaN
6 1 2019-02-11/2019-02-17 NaN
7 1 2019-02-18/2019-02-24 NaN
8 1 2019-02-25/2019-03-03 NaN
9 1 2019-03-04/2019-03-10 NaN
....
62 2 2019-07-01/2019-07-07 NaN
63 2 2019-07-08/2019-07-14 NaN
64 2 2019-07-15/2019-07-21 NaN
65 2 2019-07-22/2019-07-28 NaN
66 2 2019-07-29/2019-08-04 NaN
67 2 2019-08-05/2019-08-11 NaN
68 2 2019-08-12/2019-08-18 NaN
69 2 2019-08-19/2019-08-25 NaN
70 2 2019-08-26/2019-09-01 NaN
71 2 2019-09-02/2019-09-08 NaN
我找到了另一种解决方案:
from itertools import product
all_weeks = pd.period_range(df["date"].min(), df["date"].max(), freq='W')
all_snrs = df["id"].unique()
all_rows = pd.DataFrame(product(all_weeks, all_snrs), columns=["week", "id"])
output = pd.merge(all_rows, df, how='outer').sort_values(by=["id", "week"])