阅读来自kafka - segmentio/kafka-go的最新消息



我正在使用segmentio/kafka-go客户端来读取来自主题的消息。 我找不到..如何从上一封/新消息开始阅读。

每次我启动代码时,它都会从该分区中的起始偏移量开始读取。

关于使用来自 Kafka 的消息,您需要了解的是,每个消费者客户端都是消费者组的一部分。Kafka 将每个使用者组在主题分区级别已处理的偏移量存储在名为__consumer_offsets的内部 Kafka 主题中。这使使用者组的使用者能够在重新启动后从中断的位置继续消费。

在您的情况下,这意味着您需要设置消费者组(在 KafkaConsumer API 中是配置"group.id"(并保持恒定。只有这样,您才能继续阅读最新/新的 est 消息,而不是在重新启动后从头开始。

相关内容

  • 没有找到相关文章

最新更新