Kafka-connect:基于模式的单个主题下沉到多个表



我是Kafka连接的新手。我有一个用例如下:

  1. 有一个共享主题,我在其中获得不同实体的消息,比如员工、部门(实际表名不同(

  2. 员工和部门的模式在模式注册中注册

使用Kafka接收器连接器,是否可以根据模式分离每个实体的数据并写入各自的表例如,进入主题的员工数据应进入员工表,部门数据应进入部门表

如果没有,还有其他更好的方法吗?

一次只能为单个表配置连接器。

因此,除了在数据本身中添加一个像"entityType"这样的字段,并在数据库层中过滤掉它之外,我认为唯一的管理方法是Kafka Streams(或KSQL(将两种可能的数据类型filter()输出,然后向它们发送to()另一个主题,您可以运行Connect并侦听两个主题,这两个主题分别写入各自的表。

相关内容

  • 没有找到相关文章

最新更新