Flink 监控:捕获超过 5 分钟的统计信息

Question

我是 Flink 社区的新手，我正在尝试做一项实验研究来捕捉 Flink 在流数据方面的性能。为此，我正在尝试收集几个小时内正在运行的作业的统计信息。但是，使用 Flink 的 UI，我只能看到过去 5 分钟的统计信息。我试图点击 Rest API，但它不包含读取/写入的字节以外的统计数据。

UI 中"任务指标"下提供的指标非常有用，但不会扩展到 5 分钟以上。有没有办法可以捕获指标的整个历史记录。

Answer 1

您可以将指标报告器配置为记录任何时间段内您感兴趣的所有指标。

Flink 1.3 附带了 JMX、Ganglia、Graphite、StatsD 和 DataDog 的记者。本文档介绍了如何配置报告器。