熊猫根据按列分组的指标计算差异

Question

这是我的问题。我不知道如何描述它，所以我只举一个例子。

a b k
0 0 0
0 1 1
0 2 0
0 3 0
0 4 1
0 5 0
1 0 0
1 1 1
1 2 0
1 3 1
1 4 0

这里，"a"是用户ID，"b"是时间，"k"是一个二进制指标标志。"b"肯定是连续的。 我想要得到的是这个：

a b k diff_b
0 0 0 nan
0 1 1 nan
0 2 0 1
0 3 0 2
0 4 1 3
0 5 0 1
1 0 0 nan
1 1 1 nan
1 2 0 1
1 3 1 2
1 4 0 1

因此，diff_b是一个时差变量。它通过操作显示当前时间点和最后一个时间点之间的持续时间。如果以前从未有过操作，则返回 nan。此diff_b按 a 分组。对于每个用户，此diff_b是独立计算的。

任何人都可以修改我的标题吗？我不知道如何用英语描述它。好复杂...

谢谢！

Answer 1

IIUC

df['New']=df.b.loc[df.k==1]# get all value b when k equal to 1
df.New=df.groupby('a').New.apply(lambda x : x.ffill().shift()) # fillna by froward method , then we need shift.
df.b-df['New']# yield 
Out[260]: 
0     NaN
1     NaN
2     1.0
3     2.0
4     3.0
5     1.0
6     NaN
7     NaN
8     1.0
9     2.0
10    1.0
dtype: float64

Answer 2

使用cumsum创建k == 1行数据分区，直到下一个k == 1，并为每组a移

位

parts = df.groupby('a').k.apply(lambda x: x.shift().cumsum())

按df.a和parts分组，并计算每个组中b&b.min()之间的差异

vals = df.groupby([df.a, parts]).b.apply(lambda x: x-x.min()+1)

当部分 == 0 时将值设置为 null 并分配回数据帧

df['diff_b'] = np.select([parts!=0], [vals], np.nan)

输出：

a  b  k  diff_b
0   0  0  0     NaN
1   0  1  1     NaN
2   0  2  0     1.0
3   0  3  0     2.0
4   0  4  1     3.0
5   0  5  0     1.0
6   1  0  0     NaN
7   1  1  1     NaN
8   1  2  0     1.0
9   1  3  1     2.0
10  1  4  0     1.0