当我尝试在 AWS Glue 中运行 Spark 作业时,出现以下错误。
ImportError: cannot import name explode_outer
如果我在本地 spark 设置中运行相同的代码,一切正常。
这就是我在代码中导入explode_outer的方式。
from pyspark.sql.functions import explode_outer
AWS Glue 中是否有任何程序包限制?
AWS Glue 目前支持 Apache Spark 2.2.1。上述功能从版本 2.3 开始可用。
最好在本地设置中使用 Apache Spark 2.2.1。您可以编写自己的 explode_outer() 方法版本