Kafka Conenct:处理完所有数据后自动终止

Question

我想使用Kafka Connect将Kafka主题中的大量数据备份并恢复到各种目的地(文件、另一个主题、S3…(。但是，它以流模式运行，因此永远不会终止。但在我的场景中，它应该在处理完当前主题中的所有数据后自动退出(在我的上下文中，可以确保在备份开始前关闭所有生产商(。

是否有任何选项/参数可以使Kafka Connect连接器在处理完所有当前数据并存储在文件中后自动终止？

Answer 1

AFAIK没有这样的选项。你可以在你的Kafka Connect group.id上创建"看门狗"检查滞后，一旦滞后被处理，例如=0，你就会关闭进程。

正如我们在公司中所做的那样：我们开始让消费者每3-6小时处理一次消息，以处理滞后，创建文件，然后终止。文件正在上载到其他目的地。