如何使用开源 kafka connect 从 Aurora 连接 MSK



我必须将我的CDC更改从Aurora mysql db到MSK kafka主题。 我认为 aws 中没有像 DMS 这样的内置机制可以将所有 CDC 从 Aurora 沉入 MSK 主题,并且在他们的文档中他们没有提到对此的任何支持。

所以我只剩下使用一些开源的东西. 要使用它,我有几个问题,请帮助我解决这个问题.

  1. 我正在做一些搜索,到处都看到kafka-connect-jdbc。所以首先这是这个开源免费许可证?
  2. 我也见过将mysql连接到msk的debezium one。
  3. Aurora 记录将是文本,我需要将记录作为 JSON 放入 MSK,所以我必须使用模式注册表? 模式注册表是免费许可证还是开源还是 MSK kafka?

  4. 如果我必须使用 kafka -connect from confluent or debezium,我需要 EC2 实例。我需要安装什么?只有卡夫卡或与卡夫卡融合和debezium也是如此。

请建议一些免费许可证和开源的东西。

1(如果你想在Zookeeper、Apache Kafka代理和基础Kafka Connect(如JDBC连接器插件(之外使用Confluent平台组件,请阅读 https://www.confluent.io/confluent-community-license-faq/

2(Debezium应该可以正常工作。它在 Apache 2.0 许可证下 ;你可以将Apache Kafka与它一起使用,而不是Confluent平台的其余部分。

3a( Schema Registry 只能存储 Avro,而不能存储 JSON。因此,您不需要它。3b( 有关架构注册表许可,请参见 1

4( 您将需要 EC2 或通过 ECS/EKS 使用 Docker Kafka Connect/Debezium 容器。

还有其他选项可用于 CDC 到 Kafka,我知道其中一些是开源甚至商业支持的,但在这里列出它们太宽泛了。


关于内置的AWS服务,您可以在Aurora表上触发lambda函数来执行任何您想要的操作

https://aws.amazon.com/blogs/database/capturing-data-changes-in-amazon-aurora-using-aws-lambda/

Lambda可能已经/最终将具有MSK集成

相关内容

  • 没有找到相关文章

最新更新