计算分组数据的差异

Question

我正在尝试计算 PySpark 2 中 GroupedData 对象的方差。查看 http://spark.apache.org/docs/2.1.0/api/python/pyspark.sql.html#pyspark.sql.GroupedData，我没有看到任何用于计算方差的内置函数。

有没有一种有效的方法来计算 PySpark2 中 GroupedData 对象的方差？

以下是我如何计算 GroupedData 对象上的平均值、最小值和最大值的示例代码，但我不确定如何计算方差：

from pyspark.sql import *
from pyspark.sql.session import SparkSession
spark = SparkSession.builder.getOrCreate()
columns = ['a', 'b']
vals = [('x', 3), ('x', 5), ('y', 1), ('y', 8), ('y', 4), ('z', 5), ('z', 7), ('z', 4), ('z', 9)]
df = spark.createDataFrame(vals, columns)
df.groupBy('a').agg(avg('b'), min('b'), max('b')).show()

数据帧df如下所示：

+---+---+
|  a|  b|
+---+---+
|  x|  3|
|  x|  5|
|  y|  1|
|  y|  8|
|  y|  4|
|  z|  5|
|  z|  7|
|  z|  4|
|  z|  9|
+---+---+

我想创建一个类似于以下内容的新数据帧，显示方差：

+---+--------+
|  a|   b_var|
+---+--------+
|  x|  1.0000|
|  y|  8.2222|
|  z|  3.6875|
+---+--------+

Answer 1

内置函数在这里;pyspark.sql.functions模块中有两种方法var_pop和var_samp分别计算总体方差和样本方差，您需要的是var_pop函数：

import pyspark.sql.functions as F
(df.groupBy("a").agg(
    F.round(F.var_pop("b"), 2).alias("var_pop_b"), 
    F.round(F.var_samp("b"), 2).alias("var_samp_b")
)).show()
+---+---------+----------+
|  a|var_pop_b|var_samp_b|
+---+---------+----------+
|  x|      1.0|       2.0|
|  z|     3.69|      4.92|
|  y|     8.22|     12.33|
+---+---------+----------+