如何处理消费者恢复 抵消 与 Shopify 萨拉马.



我读到kafka提供了一个消费者客户端库,它允许通过在Zookeeper中保存最后一个偏移量读取来恢复(不是100%确定它的存储位置(。

是否有可能对萨拉玛消费者做同样的事情?

假设我正在阅读直到偏移 550,我的消费者崩溃了 5 分钟,我们现在处于偏移量 700,但我想从偏移量 550 恢复消费。

不用自己救国家,这可能吗?我会假设它确实如此,但我不明白如何。

我找到了sarama.OffsetNewest/Oldest但这不是我要找的......

Kafka 消费者过去将偏移量存储在 Zookeeper 中,但现在他们直接将它们存储在 Kafka 中。请参阅 Kafka 文档中的使用者部分。

Sarama 可以很好地处理这个问题,默认情况下,Sarama 消费者将在 Kafka 中提交(存储(偏移量。

看看 Sarama 消费者的例子。最初,此示例从主题末尾开始,但在重新启动时,它将从最后一个位置重新启动。

最新更新