将 Debezium MySQL 连接器与 MSK 配合使用会显示"INVALID_REPLICATION_FACTOR"

Question

我使用的是带有MSK的Debezium MySQL，设置非常简单。MySQL(Aurora(的连接测试良好。卡夫卡主题创作、上市都可以。

然而，当我运行连接器时，在大量滚动信息后，我会得到

WARN [Producer clientId=xxx] Error while fetching metadata with correlation id 1 : {xxx.xxx=INVALID_REP
LICATION_FACTOR} (org.apache.kafka.clients.NetworkClient:1100)

它们中的许多不断出现，连接器无法正常工作。

Answer 1

过了很长一段时间，我发现原因是MSK上默认的replication factor设置遵循Kafka的最佳实践，即3，但我只创建了2个代理。

配置保持为3，当连接器尝试自动创建具有3个副本的主题时失败。奇怪的是，即使我手动创建了一个复制因子为2的主题，连接器也会发出同样的警告。

内部主题似乎总是由Debezium连接器尝试。

创建一个新的修订版并将复制因子设置为2解决了问题。