模拟多节点 kafka 集群中的 kafka 代理故障,以及使用哪些操作和工具来缓解数据丢失问题



当 Kafka 代理在多节点 Kafka 集群中发生故障时,是否有任何工具或操作可用于缓解数据丢失问题。

嗯,复制是 Kafka 的一个重要功能,也是避免数据丢失的关键元素。特别是,如果您的一个代理出现故障,其他代理的副本将被消费者使用,就像什么都没发生一样(从业务方面)。当然,这对连接、带宽等都有影响。

但是,必须已正确生成消息才能复制。

所以基本上,如果你的复制集高于 1,这应该是安全的,只要你的生产者不关闭。

default.replication.factor为 1,因此请将复制(在主题或常规级别)设置为 2 或 3。当然,您需要2或3个经纪人。

http://kafka.apache.org/documentation.html#basic_ops_increase_replication_factor

最新更新