我使用的是一个3代理kafka。如果我停止第三个节点:没问题,我可以使用节点1或2的LOGS。如果我停止第二个节点:没问题,我可以使用节点1或3的LOGS。如果我停止第一个节点:我不能消耗任何东西。
当我重新启动kafka runner服务时。日志在这里,写得很好。
我的主题配置是:Topic:log_Topic TopicId:xxx PartitionCount:32 ReplicationFactor:3配置:segment.bytes=1073741824,retention.ms=720.0000主题:log_Topic分区:0 Leader:2个副本:1,2,3 Isr:2,3,1主题:log_Topic分区:1个Leader:2个副本:1,2,3 Isr:2,3,1主题:log_Topic分区:2个Leader:2个副本:1,2,3 Isr:2,3,1主题:log_Topic分区:3个Leader:2个副本:1,2,3 Isr:2,3,1主题:log_Topic分区:4个Leader:2个副本:1,2,3 Isr:2,3,1主题:log_Topic分区:5个Leader:2个副本:1,2,3 Isr:2,3,1主题:log_Topic分区:6个Leader:2个副本:1,2,3 Isr:2,3,1主题:log_Topic分区:7个Leader:2个副本:1,2,3 Isr:2,3,1主题:log_Topic分区:8个Leader:2个副本:1,2,3 Isr:2,3,1主题:log_Topic分区:9个Leader:2个副本:1,2,3 Isr:2,3,1主题:log_Topic分区:10个Leader:2个副本:2,3,1 Isr:2,3,1主题:log_Topic分区:11领导者:3副本:3,1,2 Isr:2,3,1主题:log_Topic分区:12个Leader:3个副本:1,3,2 Isr:2,3,1主题:log_Topic分区:13个Leader:2个副本:2,1,3 Isr:2,3,1主题:log_Topic分区:14个领导者:3个副本:3,2,1 Isr:2,3,1主题:log_Topic分区:15个Leader:2个副本:1,2,3 Isr:2,3,1主题:log_Topic分区:16个Leader:2个副本:2,3,1 Isr:2,3,1主题:log_Topic分区:17领导者:3个副本:3,1,2 Isr:2,3,1主题:log_Topic分区:18个Leader:3个副本:1,3,2 Isr:2,3,1主题:log_Topic分区:19个Leader:2个副本:2,1,3 Isr:2,3,1主题:log_Topic分区:20领导者:3个副本:3,2,1 Isr:2,3,1主题:log_Topic分区:21领导者:2个副本:1,2,3 Isr:2,3,1主题:log_Topic分区:22个Leader:2个副本:2,3,1 Isr:2,3,1主题:log_Topic分区:23领导者:3个副本:3,1,2 Isr:2,3,1主题:log_Topic分区:24个Leader:3个副本:1,3,2 Isr:2,3,1主题:log_Topic分区:25个Leader:2个副本:2,1,3 Isr:2,3,1主题:log_Topic分区:26领导者:3个副本:3,2,1 Isr:2,3,1主题:log_Topic分区:27领导者:2个副本:1,2,3 Isr:2,3,1主题:log_Topic分区:28领导者:2个副本:2,3,1 Isr:2,3,1主题:log_Topic分区:29领导者:3个副本:3,1,2 Isr:2,3,1主题:log_Topic分区:30 Leader:3个副本:1,3,2 Isr:2,3,1主题:log_Topic分区:31领导者:2个副本:2,1,3 Isr:2,3,1
当我停止引线节点时。领导者适当地改变。
有什么想法吗?
这似乎是__consumer_offsets主题的配置问题。
_consumer_offset用于存储关于每个主题的已提交偏移的信息:每个消费者组的分区(groupID(
每当组中的消费者从kafka读取数据时,它都会定期存储该点的信息,直到在名为__consumer_offset的特殊主题中读取数据为止。这样做是为了在出现故障时,消费者可以从其最后位置恢复。
问题
__consumer_offsets主题的复制因子将设置为1,并且该主题的所有分区也将出现在代理1中。
您可以描述上面要验证的__consumer_offset主题。如果是这种情况,那么解决该问题的最简单方法是删除__consumer_offset主题,并使用所需的复制因子重新创建它。
如果删除不是一个选项,那么按照下面线程中的说明进行操作
如何改变卡夫卡主题的复制品数量?
确保您的__consumer_offsets
主题有三个副本,并且不仅托管在broker 1上。默认情况下,它只有一个副本,如在server.properties
中建立的那样