Kafka 代理在代理关闭后不平衡分区



我们有一个3-broker 3-zookeeper集群,我们已经删除了一个broker。我们总共有180个分区,每个主题都有2个副本。当一个节点被取下时,有75个未复制的分区,它保持这种状态,看起来不会发生任何事情。当我启动我取下的代理程序时,分区很快就会被它占用,并且工作正常

机器相当大(30gb内存,快速磁盘(,每个代理上的所有数据都是10gb,所以我不知道它为什么不把分区从一个正在运行的节点快速移动到一个仍然在运行的节点,似乎它没有意识到节点被删除了。

有什么建议吗?节点关闭后,如何监控恢复过程?

Kafka版本2.6.0

这是经过设计的,在您首先使用kafka-reassign-partitions手动将分区从代理中移出之前,不会从代理中移动任何数据

类似地,如果你试图从集群中完全删除一个节点,你也需要这样做,这实际上是让它崩溃再也不会回来的行为

最新更新