根据条件有效地将计算应用于Pandas DataFrame

Question

这是我第一次使用堆栈溢出。我对编码和Pandas还很陌生，所以请耐心等待。我正在练习使用Python/Pandas而不是Excel操作数据，我遇到了以下问题。。。

我正在尝试按年份对特定列的值进行标准化。我的数据集很小，所以我采用的方法(如下所示(效果很好，但我相当确定这不是完成这项任务的好方法。有没有更好的方法可以通过列表理解或将函数应用于DataFrame来实现这一点？(附言：如果您能推荐任何其他资源来学习这些主题或举例，我们将不胜感激！(

样本数据：

IN: df = pd.DataFrame(data=[[2018,10,100,50], [2018,11,110,30], [2017,12,120,10], [2017, 15, 115, 40]], columns=['Year','c1','c2','c3'])
OUT:
Year  c1   c2   c3
0  2018  10  100   50
1  2018  11  110   30
2  2017  12  120   10
3  2017  15  115   40

样本输出：

Year    c1  c2  c3    c1_std      c2_std
0   2018    10  100 50  -0.707107   -0.707107
1   2018    11  110 30  0.707107    0.707107
2   2017    12  120 10  0.707107    0.707107
3   2017    15  115 40  -0.707107   -0.707107

请注意，标准化输出仅适用于3列中的2列

我的方法：

1. 首先我创建了两个表。一个用于按列和年份表示的平均值，另一个用于按照列和年份计算的标准偏差。

   standard_devs = pd.DataFrame(data=[],index=[2018,2017], columns=['c1', 'c2'])
   means = pd.DataFrame(data=[],index=[2018,2017], columns=['c1', 'c2'])  
   for y in [2018,2017]:
   for col in ['c1', 'c2']:
   standard_devs.loc[y,col] = df[df['Year']==y][col].std()
   means.loc[y,col] = df[df['Year']==y][col].mean()
   

2. 我迭代了我的原始数据框架，并根据适当的年份和列计算了标准化值。

   for i in list(df.index):
   for col in ['c1', 'c2']:
   year = df.loc[i,'Year']
   df.loc[i,col+'_std'] = (df.loc[i,col]-means.loc[year, col])/standard_devs.loc[year, col]
   

我之前读过，遍历pandas DataFrame是一种糟糕的做法。我知道这种方法可能无法扩展，所以我想知道如何才能更有效地进行编码。

谢谢大家！

Answer 1

您可以在此处使用groupby.transform来计算std和mean。这将按组计算适当的度量，并返回具有相同轴长度df:的系列

for c in ['c1', 'c2']:
stds = df.groupby('Year')[c].transform('std')
means = df.groupby('Year')[c].transform('mean')
df[f'{c}_std'] = (df[c] - means) / stds

---

另一种方法是通过密钥将索引临时设置为您的组：

means = df.groupby('Year')[['c1', 'c2']].mean()
stds = df.groupby('Year')[['c1', 'c2']].std()
(df.join((((df.set_index('Year') - means) / stds))
.reset_index(drop=True)
.add_suffix('_std')))

[out]

Year  c1   c2  c3    c1_std    c2_std
0  2018  10  100  50 -0.707107 -0.707107
1  2018  11  110  30  0.707107  0.707107
2  2017  12  120  10 -0.707107  0.707107
3  2017  15  115  40  0.707107 -0.707107