我有一个这样的数据帧:
df = pd.DataFrame({'id': [1, 1, 1, 2, 2], 'C1': ['1A', '1B', '1C', '2A', '2B'], 'C2': [100, 200, 300, 400, 500]})
print(df)
id C1 C2
0 1 1A 100
1 1 1B 200
2 1 1C 300
3 2 2A 400
4 2 2B 500
从这个数据帧中,如何为"id"的每个值获取多个子集,如下所示?
id C1 C2
0 1 1A 100
id C1 C2
0 1 1A 100
1 1 1B 200
id C1 C2
0 1 1A 100
1 1 1B 200
2 1 1C 300
id C1 C2
0 2 2A 400
id C1 C2
0 2 2A 400
1 2 2B 500
我可以写一个for循环,如下所示。
for id in df['id'].unique().tolist():
df1 = df[df['id'] == id]
for i in range(len(df1) + 1):
df1 = df1.head(i)
有没有一种有效的方法可以做到这一点,因为我的数据帧在"id"列中有数千个值。
我尝试过使用df.apply,但它一次只能处理一行(轴=1(。
我的最终目标是得到如下的数据帧(其中C2是子集数据帧的C2列中的值的总和(。
id 1A 1B 1C 2A 2B C2
0 1 1 0 0 0 0 100
0 1 1 1 0 0 0 300
0 1 1 1 1 0 0 600
1 2 0 0 0 1 0 400
1 2 0 0 0 1 1 900
如果我采用for循环的方法,我可以对在内部for循环中获得的子集数据帧执行分组"id"、求和"C2"列和交叉表。然后我可以最后对所有的子集交叉表结果进行pd.cocat。但我不知道如何更有效地做到这一点。请提出建议。
通常,不需要自己创建所有这些子集,因为您可以执行"累积的";计算来完成你需要的。
C2是每个"ID"内累积和(cumsum
(的结果。您的伪列是pd.get_dummies
的结果,然后是每个分组内的累积最大(cummax
((归功于@Ben.T(。使用concat
加入计算以获得结果,并使用groupby
+ngroup
为所需索引标记每个ID。
# Dummies for C1
df1 = pd.get_dummies(df.C1)
df1 = df1.groupby(df['id']).cummax()
# Join, ID from df, dummies from df1 and cumsum
df1 = pd.concat([df['id'], df1, df.groupby('id')['C2'].cumsum()], axis=1)
# Create your index, breaks alignment of df and df1 from this point on
df1.index = df1.groupby(df['id'], sort=False).ngroup()
print(df1)
id 1A 1B 1C 2A 2B C2
0 1 1 0 0 0 0 100
0 1 1 1 0 0 0 300
0 1 1 1 1 0 0 600
1 2 0 0 0 1 0 400
1 2 0 0 0 1 1 900