更改在 YARN 上运行的 flink 作业的日志文件输出路径

Question

我们有一些在纱线上运行的 flink 作业。我们希望将 flink 作业日志上传到 ELK 以简化调试/分析。目前 flink 任务管理器将日志写入/mnt/flinklogs/$application_id/$container_id。我们希望它写入没有嵌套结构$applicatoin_id/$container_id目录。

我试过env.log.dir: /mnt/flink.使用此设置时，配置不会正确传递。

-Dlog.file=/mnt/flinklogs/application_1560449379756_1312/
container_e02_1560449379756_1312_01_000619/taskmanager.log

Answer 1

我认为解决这个问题的最佳方法是使用 yarn 日志聚合将日志写入磁盘，并使用弹性文件位将它们发送到弹性。