对聚合数据帧进行操作后 Pyspark 冻结

Question

我正在使用Spark 1.5.2和Python 2.7.5。

我有我在 pyspark repl 中运行的这段代码：

from pyspark.sql import SQLContext
ctx = SQLContext(sc)
df = ctx.createDataFrame([("a",1),("a",1),("a",0),("a",0),("b",1),("b",0),("b",1)],["group","conversion"])
from pyspark.sql.functions import col, count, avg
funs = [(count,"total"),(avg,"cr")]
aggregate = ["conversion"]
exprs = [f(col(c)).alias(name) for f,name in funs for c in aggregate]
df3 = df.groupBy("group").agg(*exprs).cache()

到目前为止，代码运行良好，我可以检查df3：

>>> df3.collect()
[Row(group=u'a', total=4, cr=0.5), Row(group=u'b', total=3, cr=0.6666666666666666)]

但是，当我尝试时：

df3.agg(sum(col('cr'))).first()[0]

PySpark无法计算这个总和。但是df3.rdd.reduce(lambda x,y: x[2]+y[2])工作得很好。

那么，计算总和的第一个命令有什么问题呢？

Answer 1

你应该先导入 pyspark 的sum函数：from pyspark.sql.functions import sum 。否则，python的内置sum被调用，它只是对数字序列求和。