纱线显示工作成功,但EMR显示步骤仍在运行



纱表明作业是成功的(在YARN UI中(,但是EMR显示了(在EMR Console UI中(仍在运行的步骤,并且它像Tat Forever一样显示。任何想法 ?我正在写S3作为JSON PART文件,我在驱动程序日志中看到了这一点:

Caused by: java.io.IOException: File already exists:s3n:

但是驾驶员仍在运行,但纱线表现为成功。

我遇到了同一问题,在那里S3告诉我文件已经存在,并且作业正在按预期完成。首先,请勿使用s3n://,而是根据本期建议使用s3://

为了摆脱IOException,我启用了EMRF一致的视图,建议"使用Amazon S3作为数据存储进行快速顺序步骤进行快速顺序步骤",这是我的情况。ymmv。

相关内容

  • 没有找到相关文章

最新更新