纱表明作业是成功的(在YARN UI中(,但是EMR显示了(在EMR Console UI中(仍在运行的步骤,并且它像Tat Forever一样显示。任何想法 ?我正在写S3作为JSON PART文件,我在驱动程序日志中看到了这一点:
Caused by: java.io.IOException: File already exists:s3n:
但是驾驶员仍在运行,但纱线表现为成功。
我遇到了同一问题,在那里S3告诉我文件已经存在,并且作业正在按预期完成。首先,请勿使用s3n://
,而是根据本期建议使用s3://
。
为了摆脱IOException
,我启用了EMRF一致的视图,建议"使用Amazon S3作为数据存储进行快速顺序步骤进行快速顺序步骤",这是我的情况。ymmv。