AWS Glue ImportError:无法导入名称explode_outer



当我尝试在 AWS Glue 中运行 Spark 作业时,出现以下错误。

ImportError: cannot import name explode_outer

如果我在本地 spark 设置中运行相同的代码,一切正常。

这就是我在代码中导入explode_outer的方式。

from pyspark.sql.functions import explode_outer

AWS Glue 中是否有任何程序包限制?

AWS Glue 目前支持 Apache Spark 2.2.1。上述功能从版本 2.3 开始可用。

最好在本地设置中使用 Apache Spark 2.2.1。您可以编写自己的 explode_outer() 方法版本

相关内容

  • 没有找到相关文章

最新更新