卡夫卡多个制片人写同一个主题?



>假设我有一个主题 T1 有 3 个分区,即 P1、P2 和 P3。其中 p1 是领导者,其余是追随者。

现在有2个生产者想要推送到同一个主题T1。我相信P1会成为他们俩的领导者吗?还将保持单偏移 对于它们或偏移量是每个生产者的每个分区的维护者吗?

现在我有一个从 T1 轮询的消费者。默认情况下,它会从两个生产者那里获得消息,还是必须明确提及生产者名称(如果( 想要来自特定制作人的消息吗?

领导者不依赖于生产者或消费者,因此 p1 将始终作为领导者返回。抵消对生产者来说并不重要,它们是按消费者群体定义的。偏移量确定使用者组读取和提交哪些消息。

消费者将始终阅读所有消息,没关系,哪个生产者发布了它们。

您可能混淆了副本和分区。当您说您有一个包含 3 个分区的主题时,这意味着您的记录将根据记录键(或调度程序算法(在它们之间调度。 没有"领导者分区"。但是,您有一个处理分区的领导者代理。在您的情况下,您将有 3 个领导者,每个领导者管理您的 3 个分区中的一个。

这里有一篇关于卡夫卡分区的插曲:

了解 Kafka 主题和分区

雅尼克

最新更新