基于Debezium消息的操作类型的S3 sink连接器配置

Question

我们希望根据操作类型来区分Kafka(来自Debezium)中的消息。我们正在寻找基于Kafka中操作类型的路由消息。

Debezium发送不同类型的操作，如r(读)、u(更新)、delete(d)等。

之类的

• if operation = r ->发送到桶1
• if operation = u, d ->发送到bucket 2

我们想从Debezium中分离快照和增量数据。

Answer 1

你可以使用本例中的基于内容的路由器将操作发送到不同的主题(这需要安装Debezium脚本，参见同一链接)。这将使用消息创建单独的主题，但我不知道您是否可以使用相同的S3接收器连接器将两个主题带到不同的桶中(因为它似乎不支持路由)，因此您可能必须为每个主题创建一个连接器，并使用正确的接收器桶配置它们。