Spark "sum" 命令给出的方法 sum([class java.util.ArrayList]) 不存在

Question

我快疯了吗？

from pyspark.sql.functions import *
sum([2,3,2])

给：

py4j.Py4JException: Method sum([class java.util.ArrayList]) does not exist

我怎样才能得到一个简单的金额？

幕后发生了什么火花让事情变得如此困难？

Answer 1

通过from pyspark.sql.functions import *，您将用pyspark.sql.functions模块中的 sum 函数覆盖 python 标准库中的 sum 函数。为避免覆盖，您可以导入模块：

import pyspark.sql.functions as f

并将两个 sum 函数称为f.sum和sum。

或者为pyspark中的 sum 函数提供别名。

from pyspark.sql.functions import sum as fsum

这样您就不会在同一作用域中引入两个 sum 函数。