Flink - 如何通过 JMX Reporter 导出 flink 的 kafka 连接器偏移量?



根据这里,我启用了JMX Exporter,并能够连接到它来查看一些指标:jobmanager。状态,jobmanager.job.

metrics.reporter.jmx.class: org.apache.flink.metrics.jmx.JMXReporter
metrics.reporter.jmx.port: 8789

然而,我没有看到KafkaConnector的指标(commitedOffets,currentOffsets(我该怎么做

我想从Flink获得这些偏移量来计算

consumer lag=最新的kafka分区偏移-flink分区偏移。

我找到了答案。flink-conf.yaml中的JMX端口配置应该是一个范围(9250-9260(,而不是一个端口号。Flink至少需要2个端口才能同时导出JobManager和TaskManager的指标。
metrics.reporter.jmx.class: org.apache.flink.metrics.jmx.JMXReporter
metrics.reporter.jmx.port: 9250-9260

如果只指定了1个端口(问题中为8789(,则只导出JobManager中的度量。KafkaConnector的度量属于TaskManager的度量,因此不会出现。

相关内容

  • 没有找到相关文章

最新更新