卡夫卡消费者群体在重新平衡过程中会冻结吗



Kafka消费者组的滚动部署会导致该组冻结吗?

所以让我们考虑一下这个场景,

  1. 我们开始滚动部署
  2. 一名消费者离开该组
  3. 卡夫卡注意到了这一点,并触发了再平衡(因此消费停止(
  4. 重新平衡发生了,但很快就会有新的消费者想要加入
  5. 另一位消费者也离开了
  6. 再次出现新的再平衡
  7. (循环直到部署完成(

因此,如果您有一个足够大的集群,并且在一台机器上完成部署需要一些时间(通常是这样(,这会导致消耗完全冻结吗?

如果是,在生产中进行消费者群体更新的策略是什么

是的,这肯定是可能的。最近进行了一些改进,以减少此类事件期间的停机时间。我建议启用一个或两个或以下功能:

静态成员资格在2.3中添加,可以防止在组中的已知成员被反弹时发生重新平衡。这需要客户端和代理都在版本2.3+上

增量合作再平衡使团队能够更快地进行再平衡,并允许个人成员在整个再平衡过程中继续消费。在滚动部署期间,您仍然会看到重新平衡,但在这段时间内不会导致消费完全冻结。这完全是客户端的,所以它可以与任何经纪人合作,但您的客户应该使用2.5.1+版本

最新更新