如何为生产者传递Apache Kafka Mirrormaker2配置

Question

我目前正在测试Mirrormaker在两个集群之间复制数据。不幸的是，制作人配置似乎没有被个人制作人使用，然后在https://github.com/apache/kafka/blob/trunk/connect/mirror/README.md中记录。

我的配置文件简化:

clusters=INPUT,BACKUP

INPUT.consumer.compression.type=lz4       
BACKUP.producer.compression.type=lz4

INPUT->BACKUP.enabled = true                       
INPUT->BACKUP.topics=mytopic.*
...

运行mirrormaker2 (connect-mirror-maker.sh mirrormaker.properties)的日志输出不显示此选项:

INFO ProducerConfig values:
...
compression.type = none
...

当前使用的Kafka版本是2.7.1。

如何正确传递设置，使生产者正确压缩?我还需要传递一些其他设置，但是一旦这个工作，它也应该为其他设置做。

Answer 1

两种可能的解决方案:

1. 在mm2工人的属性文件中启用connector.client.config.override.policy。您需要密切关注https://docs.confluent.io/platform/current/connect/references/allconfigs.html#override-the-worker-configuration。
2. 启动Kafka Connect集群，逐个创建MirrorSourceConnector和MirrorCheckpointConnector，覆盖生产配置。您仍然需要参考上面的官方Confluent文档。我选择了这种方法，它工作。