是否有可能合并两个Debezium连接器?



处理大型MySQL数据库(10s TB),我发现自己不得不拆分一个连接器,以便一次可以处理更多的行(每个连接器一次可以处理一个表)。

一旦initial同步完成,并且它切换到增量,合并两个连接器的最干净的方法是什么?

这可能吗?

由于这两个连接器都是用不同的database.server.name值创建的,因此它们相关的主题可能用不同的值作为前缀,因此尝试合并多个连接器将非常麻烦且容易出错。

我的建议是,如果您有大量需要快照的数据,不要依赖于初始快照阶段来捕获数据。相反,配置单个连接器以使用schema_only快照模式,以便在流开始之前捕获模式。然后,您可以利用与流并行运行的增量快照来并发捕获10TB的数据。

最新更新