使用度量的spring_cloud_stream_binder_kafka_offset来处理kafka延迟



我有一个应用程序长时间使用kafka消息而没有重启。此外,我还有一个dash,通过属性">spring_cloud_stream_binder_kafka_offset监控消费者滞后"。

当我最近不得不重新启动它时,我意识到一些我已经一个多月没有发送消息的话题开始报告一些"奇怪的值"。在相同的度规下。我运行以下命令检查主题上的滞后,然后我意识到这个主题有"奇怪的值"。列current-offset为空"-",但我确信这些消息在过去被处理过。

kafka-consumer-groups --bootstrap-server <server> --group group-test --describe --offsets --command-config 
<表类>组主题分区当前偏移量LOG-END-OFFSET滞后tbody><<tr>团体测验测试1646864680团体测验测试2639663960团体测验TEST10-88-团体测验TEST11-78-

参见offset.retention.minutes。https://kafka.apache.org/documentation/brokerconfigs_offsets.retention.minutes

默认为7天,这意味着在最后一个消费者离开组(最近的代理版本-如果我没记错的话,从2.1开始)后,偏移量将保留7天。

当偏移量被删除时,就好像组从未从topic/分区中消耗任何东西,如果再次启动,它将接收topic/分区中的所有记录。

最新更新