将__consumer_offsets迁移到新集群的最佳方法是什么?

Question

我正处于将大型群集迁移到新数据中心的阶段。我正在使用镜像制作工具来镜像主题。我需要将__consumer_offset主题迁移到新集群。移动此主题的过程是什么？

我的消费者属性

bootstrap.servers=<server_dns>:9092
exclude.internal.topics=false
client.id=mirror_maker_consumer_all
group.id=mirror_maker_consumer_all

生产者属性

bootstrap.servers=<bootstrap_servers>:9092
acks = 1
batch.size = 10000
timeout.ms = 3000
client.id=mirror_maker_consumer_offsets

我正在运行带有 num.streams=10 和白名单='.*' 的镜像制造商

Answer 1

使用 MirrorMaker，您无法镜像该主题。群集之间的偏移量通常不同，因此该主题中的数据在新群集中没有意义。

MirrorMaker2 解决了此问题，并且能够在群集之间复制偏移量。MirrorMaker2现在是推荐工具，取代了旧的MirrorMaker。

有关其功能以及如何运行它的详细信息，请参阅 MirrorMaker2 自述文件：https://github.com/apache/kafka/tree/trunk/connect/mirror