在 Yarn 中找不到火花提交完成的作业



我使用spark-submit提交了一个作业,该作业正确完成,但它没有显示在 Yarn 中。

如何直接在 Yarn 中查看流程?我已经使用 yarn 客户端模式指定了,但在 yarn Web 控制台中我什么也没看到。

基于另一个堆栈溢出线程,yarn application -list -appStates FINISHED可能会完成这项工作。同样在同一线程中,您会发现另一个可能的原因:

事实证明,我在 YARN 中启用了日志聚合,但将yarn.nodemanager.remote-app-log-dir设置为自定义 hdfs 目录 (/tmp/yarnlogs(,因此日志实际上是在 HDFS 中的/tmp/yarnlogs 聚合的,但 yarn 命令仍在 HDFS 的默认位置搜索日志 (/tmp/logs(。因此,将属性更改为其默认值为我修复了它。

希望对您有所帮助!

相关内容

  • 没有找到相关文章

最新更新