获取kafka消费者滞后作为prometheus度量



嗨,我有一个具有多个侦听器的消费者,并发性为3。每个侦听器使用一个主题。我试图在普罗米修斯度量终端中获得容器的消费者滞后。我检查了默认指标,只有与侦听器相关的成功和失败计数和总和可用。是否有任何选项可以将消费者滞后暴露为普罗米修斯度量标准?

编辑

我正在使用spring-kafka,在文档中它说我可以简单地获得侦听器和代理相关的指标(https://docs.spring.io/spring-kafka/reference/html/#monitoring-listener-performance)。我所做的是调用prometheus端点,如myUrl/prometheus,我能够看到侦听器日志。

那么有没有一种方法可以这样看待消费者滞后呢?

据我所知,Spring并没有提供这样做的简单方法(请参阅监控文档了解更多细节)。您可以使用一些现有的解决方案来消除对消费者实现的依赖。例如:

  1. Kafka Lag export .

它提供了一个类似kafka_consumergroup_group_lag的指标,标签为:cluster_name,group,topic,partition,member_host,consumer_id,client_id。它很容易设置,可以在任何地方运行,但它提供了在Kubernetes集群上轻松运行的特性。

  1. Kafka export

它提供了更多不同的kafka指标。对于延迟,它有一个kafka_consumergroup_lag指标的示例,其标签为:consumergroup,partition,topic

最新更新