是否有办法在MirrorMaker 2中禁用偏移复制?



我无法访问"来源";集群用于创建除显式授予的主题之外的任何主题。我想使用MirrorMaker2在源和目标之间进行复制,但是没有正确配置源集群。

[2021-08-15 13:48:51,601] ERROR [Worker clientId=connect-2, groupId=<XXX>] Uncaught exception in herder work thread, exiting:  (org.apache.kafka.connect.runtime.distributed.DistributedHerder:324)
org.apache.kafka.common.errors.TopicAuthorizationException: Not authorized to access topics: [mm2-offsets.target.internal]
[2021-08-15 13:48:56,394] INFO [Worker clientId=connect-1, groupId=source-mm2] Herder stopped (org.apache.kafka.connect.runtime.distributed.DistributedHerder:738)

是否有办法在MirrorMaker 2中禁用偏移复制?

我在Kafka connect中部署MM2,并使用以下属性:

"sync.group.offsets.enabled": false

即使这样,仍然有必要创建一个内部主题,在本例中是mm2-offset .target.internal,但是现在使用KIP-716 (Apache 3.0),您可以在目标集群中创建主题,因此没有必要在源集群中创建主题:

"offset-syncs.topic.location": "target"
  • 使用RESTful API启动Kafka Connect
  • 只创建一个mirrorsourcececonnector

最新更新