熊猫数据帧按多年滚动统计分组

Question

我有一个熊猫数据帧，我正在尝试在按列分组后计算扩展的窗口聚合。数据结构如下所示：

df = pd.DataFrame([['A',1,2015,4],['A',1,2016,5],['A',1,2017,6],['B',1,2015,10],['B',1,2016,11],['B',1,2017,12],
['A',1,2015,24],['A',1,2016,25],['A',1,2017,26],['B',1,2015,30],['B',1,2016,31],['B',1,2017,32],
['A',2,2015,4],['A',2,2016,5],['A',2,2017,6],['B',2,2015,10],['B',2,2016,11],['B',2,2017,12]],columns=['Typ','ID','Year','dat'])
.sort_values(by=['Typ','ID','Year'])

即

Typ ID  Year    dat
0   A   1   2015    4
6   A   1   2015    24
1   A   1   2016    5
7   A   1   2016    25
2   A   1   2017    6
8   A   1   2017    26
12  A   2   2015    4
13  A   2   2016    5
14  A   2   2017    6
3   B   1   2015    10
9   B   1   2015    30
4   B   1   2016    11
10  B   1   2016    31
5   B   1   2017    12
11  B   1   2017    32
15  B   2   2015    10
16  B   2   2016    11
17  B   2   2017    12

一般来说，每个Type-ID的年数和每Type-ID-Year的行数完全不同。我需要按列Type和ID对这个数据帧进行分组，然后按Year计算所有观测值的扩展窗口中位数和标准。我想得到这样的输出结果：

Typ ID  Year    median  std
0   A   1   2015    14.0    14.14
1   A   1   2016    14.5    11.56
2   A   1   2017    15.0    10.99
3   A   2   2015    4.0     0
4   A   2   2016    4.5     0
5   A   2   2017    5.0     0
6   B   1   2015    20.0    14.14
7   B   1   2016    20.5    11.56
8   B   1   2017    21.0    10.99
9   B   2   2015    10.0    0
10  B   2   2016    10.5    0
11  B   2   2017    11.0    0

因此，我想要类似['Type','ID','Year']groupby的东西，为每个Type-ID-Year计算具有相同Type-ID和累积的数据的中位数和标准，包括该Year。

如何在不手动迭代的情况下执行此操作？

Answer 1

这个问题没有任何活动，所以我会发布我找到的解决方案。

mn = df.groupby(by=['Typ','ID']).dat.expanding().median().reset_index().set_index('level_2')
mylast = lambda x: x.iloc[-1]
mn = mn.join(df['Year'])
mn = mn.groupby(by=['Typ','ID','Year']).agg(mylast).reset_index()

我的解决方案遵循以下算法：

1. 对数据进行分组，计算窗口中位数，并取回原始索引
2. 返回原始索引后，从原始数据帧中获取年份
按分组列
3. 分组，取每个列的最后一个(按顺序(值

这给出了所需的输出。对于标准差(或任何其他所需的统计量(，可以遵循相同的过程。