使用groupby agg()对 python pandas进行加权平均

Question

我希望能够在pandas groupby agg()中使用自定义函数。我知道有使用apply的选项但我想要的是多次聚合。下面是我的测试代码，我试图让加权平均值工作。

Python代码

import pandas as pd
import numpy as np
def weighted_avg(df, values, weights):
    '''To calculate a weighted average in Pandas. Demo see https://www.statology.org/pandas-weighted-average/
    Example: df.groupby('Group Names').apply(w_avg, 'Results', 'AFY')'''
    v = df[values]
    w = df[weights]
    return (v * w).sum() / w.sum()
# below creates a dataframe.
dfr = pd.DataFrame(np.random.randint(1,50,size=(4,4)), columns=list('ABCD'))
dfr['group'] = [1, 1, 0, 1]
print(dfr)
dfr = dfr.groupby('group').agg({'A':'mean', 'B':'sum',
                    'C': lambda x: weighted_avg(dfr, 'D', 'C')}).reset_index()
print(dfr)

结果-输出

    A   B   C   D  group
0   5   2  17  38      1
1  35  30  22  32      1
2  15  18  16  11      0
3  46   6  20  34      1
    group     A      B       C
0      0  15.000000  18  29.413333
1      1  28.666667  38  29.413333

问题:加权平均值返回整个表的值，而不是"group"列的值。我怎样才能得到分组工作的加权平均值?

我确实尝试将groupby放入函数中，但没有成功。谢谢你看一看。

Answer 1

您可以使用您在lambda中的x(具体来说，使用它的.index来获得您想要的值)。例如:

import pandas as pd
import numpy as np

def weighted_avg(group_df, whole_df, values, weights):
    v = whole_df.loc[group_df.index, values]
    w = whole_df.loc[group_df.index, weights]
    return (v * w).sum() / w.sum()

dfr = pd.DataFrame(np.random.randint(1, 50, size=(4, 4)), columns=list("ABCD"))
dfr["group"] = [1, 1, 0, 1]
print(dfr)
dfr = (
    dfr.groupby("group")
    .agg(
        {"A": "mean", "B": "sum", "C": lambda x: weighted_avg(x, dfr, "D", "C")}
    )
    .reset_index()
)
print(dfr)

打印:

    A   B   C   D  group
0  32   2  34  29      1
1  33  32  15  49      1
2   4  43  41  10      0
3  39  33   7  31      1
   group          A   B          C
0      0   4.000000  43  10.000000
1      1  34.666667  67  34.607143

---

编辑:正如@enke在评论中所述，您可以使用已经过滤的数据帧调用weighted_avg函数:

weighted_avg(dfr.loc[x.index], 'D', 'C')

Answer 2

对于这种事情，我通常在计算的中间阶段添加列:

df['product'] = df['value'] * df['weight']
weighted_avg = sum(df['product']) / sum(df['weight'])

你可以像平常一样进行分组和子集选择:

df0 = df[df['group']==0]
df1 = df[df['group']==1]

，分别计算各组weighted_avg

Answer 3

你写的地方lambda x: weighted_avg(dfr, 'D', 'C')

这将计算dfr的加权平均值，即整个表。

如果您将其更改为lambda group: weighted_avg(group, "D", "C")

那么我认为它可能有效。

(我已经将lambda变量的名称更改为group，因为x不是很具有描述性)