Kafka connect SourceTask commit() and commitRecord() methods



我是Kafka连接的新手,并试图为我的自定义JDBC源连接器(从oracle DB读取)构建一个确认机制。因此,每当数据被添加到Kafka主题时,我想要更新源DB表中的状态/偏移量。Kafka connect的confluent文档提到了两种方法:commit和commitRecord,但声明"这些api是为具有消息确认机制的源系统提供的"。(参考:https://docs.confluent.io/platform/current/connect/devguide.html,参考"任务示例-源任务"章节)

  1. oracle DB是否支持确认机制?
  2. 如果是,我们可以使用commit()或commitRecord()来更新源DB中的状态/偏移量吗?
  3. 如何实现这些方法?
  4. 我们可以使用默认的JDBC源连接器吗?(https://docs.confluent.io/3.2.0/connect/connect-jdbc/docs/source_connector.html)

我想知道为什么你想在源Oracle表中标记被读取的记录?如果某些东西被写入Kafka主题,这意味着它是从源读取的。在这种情况下,您可以使用Confluent的JdbcSourceConnectorOracleDatabaseDialect

您当然可以创建Sink连接器,它将从主题中读取并更新源表中的记录,但这只是为了艺术而艺术。

相关内容

最新更新