如何启用 Kafka 接收器连接器,以便在接收器启动时将数据从主题插入到表中



我为我的数据存储(Amppol ADS(开发了kafka-sink-connector(使用confluent-oss-3.2.0-2.11,connect框架(,它将来自kafka主题的数据存储到我的存储中的相应表中。

只要 kafka 服务器和 ADS 服务器启动并运行,一切都会按预期工作。

需要有关特定用例的帮助/建议,其中事件在 kafka 主题中被摄取并且接收器组件 (ADS( 已关闭。此处的期望是,每当接收器服务器出现时,都应将之前在 kafka 主题中引入的记录插入到表中;

请告知如何处理这种情况。

连接框架中是否有任何支持..?或者至少一些参考将是一个很大的帮助。

SinkConnector 偏移量在 Kafka 的_consumer_offsets主题中

针对您的连接器名称进行维护,当 SinkConnector 重新启动时,它将从 Kafka 服务器从它存储在_consumer_offsets主题上的上一个偏移量中选取消息。

因此,您不必担心管理偏移量。这一切都是由Connect框架中的工人完成的。在你的方案中,只需重新启动接收器连接器。如果消息由源连接器推送到 Kafka,并且在 Kafka 中可用,则可以随时启动/重新启动接收器连接器。

最新更新