我使用spark-submit
提交了一个作业,该作业正确完成,但它没有显示在 Yarn 中。
如何直接在 Yarn 中查看流程?我已经使用 yarn 客户端模式指定了,但在 yarn Web 控制台中我什么也没看到。
基于另一个堆栈溢出线程,yarn application -list -appStates FINISHED
可能会完成这项工作。同样在同一线程中,您会发现另一个可能的原因:
事实证明,我在 YARN 中启用了日志聚合,但将yarn.nodemanager.remote-app-log-dir设置为自定义 hdfs 目录 (/tmp/yarnlogs(,因此日志实际上是在 HDFS 中的/tmp/yarnlogs 聚合的,但 yarn 命令仍在 HDFS 的默认位置搜索日志 (/tmp/logs(。因此,将属性更改为其默认值为我修复了它。
希望对您有所帮助!