Flink Kafka 指标:如何获取它们



理想情况下,我想运行一些实验来测量应用程序输入消费者的压力(即,如果我的应用程序滞后于输入数据主题并且消息到达的速度快于处理速度(。有人告诉我这很常见,但我不知道该怎么做

我正在阅读 1.9 指标文档,从我得到的内容来看,我必须配置 conf/flink-conf.yaml(在独立模式下(,让我们像这样为 jmx 报告器说:

metrics.reporter.jmx.factory.class: org.apache.flink.metrics.jmx.JMXReporterFactory
metrics.reporter.jmx.port: 8789

那么我应该使用 start-cluster.sh 脚本运行 flink 应用程序,然后呢?这些指标存储在哪里?

在相同的文档中,为 Kafka 指定了 committedOffsets 和 currentOffsets。我相信消费者滞后被定义为承诺偏移量 - 当前偏移量与否?这里有更多的指标(例如,记录滞后平均(,并且声明这些指标也被公开。任何人都可以为我提供分步指南吗?我有点困惑

我会使用Prometheus JMX导出器

根据您的环境设置,请使用 Prometheus 和 Grafana 的 docker 映像或 Kubernetes Helm 图表。

有一个为Apache Kafka指标预配置的开源Grafana仪表板。

相关内容

  • 没有找到相关文章

最新更新