为多个连接器使用现有主题是一种好做法吗?



我正在使用Debezium PostgreSQL连接器将users表放入Kafka Topic。

我有一个JDBC Sink Connector连接器,然后从主题读取数据并将其推送到它自己的数据库。

现在,我需要另一个微服务数据库的数据子集。因此,我计划编写另一个JDBC接收器连接器。

问题:使用现有的users表主题是一个很好的做法吗?如果是,那么我如何确保新的JDBC连接器获得整个用户表的快照

如果Debezium快照了表,并且由于保留而没有在主题中丢失数据,那么这就是任何sink或其他消费者将读取的内容。

任何唯一的接收器连接器名称将从其主题读取唯一的偏移量。多名消费者阅读同一主题不会发生什么不好的事情;这就是Kafka的使用方式。

您可能需要确保连接的consumer.auto.offset.reset=earliest从主题的开头读取

要获取字段的子集,您需要使用"replace"他们- https://docs.confluent.io/platform/current/connect/transforms/replacefield.html#replacefield

相关内容

最新更新