AWS Glue 作业失败并显示错误"Command failed with exit code 10"



我时不时地得到这个错误信息,使工作非常不可靠。

在更深入的评估和连续的日志记录中,我看到以下错误:

2021-09-02 10:38:19,810 ERROR [main] glue.ProcessLauncher (Logging.scala:logError(70)): Unknown error from Python: Error Traceback is not available.

上面的错误也没有提到问题在哪里。我正在运行Glue 2.0与Python 3与工人类型G.1X。被提取的数据只有100,000行,所以这根本不应该是内存问题。

AWS页面对这个错误非常没有帮助。

The AWS Glue job fails with the error "Command failed with exit code 10"
Check the CloudWatch logs for the job to find errors related to executors. This error usually occurs during the shuffle stage of Spark. 

脚本在哪里失败?

此AWS Glue错误发生在AWS Glue 3.0或4.0版本中。当您使用AWS Glue安全配置,但S3存储桶策略拒绝未加密的se:putObject时,会发生此错误。

要解决此问题,请在脚本开头运行job.init()以使AWS Glue安全配置生效。如果在job.init()之前启动Spark会话,则会覆盖Spark的安全配置属性,从而发生错误。

我的代码中已经有了job.init()。

对于我来说,在销毁作业并重新部署它之后,退出代码10错误被修复了。这可能不适合你,但值得一试!

我们使用terraform,所以这很简单。如果您只是使用控制台,请尝试使用相同的代码和设置部署一个新作业,看看它是否能工作。

这是一个非常模糊的错误代码,没有明确的答案。但它似乎是一个胶水配置错误,阻止代码运行。对我来说,在我重新创建作业之前,它甚至不会向cloudwatch日志发送打印("hello world")。

最新更新