Kafka 消费者 - 从头到尾计算偏移量的数量

Question

我能够使用消耗参数(最早(从头到尾获取特定 Kafka 主题的数据。 反应： 偏移量 180 ， 味精 ABC.... . . 偏移量 12000 ， 味精 KLP...

我想计算从特定办公室到最新偏移量的计数数，以了解插入了多少新消息。 卡夫卡消费者有这样的参数可以使用吗 或者我需要为此获取时髦的代码？

场景将是： 开始消费Kafka主题，偏移量可能是180-12000 将 100 条消息发布到 Kafka 主题。 现在的偏移量是 180-12099，由于某种原因，1 条消息未能发布。 我需要一个代码来确保总数为 100，如果 99 则失败。

Answer 1

与其检查是否存在正确数量的偏移量，不如检查您发送的消息的生产者返回代码。 大多数 kafka 生产者在消息被 kafka 代理确认后返回消息的偏移量。