Kafka连接到访问两个水槽(FTP和SQL)



我需要使用kafka connect cint将文件数据发送到FTP服务器,在服务器收到整个文件后,我还必须获得确认来更改这些任务的状态在DB中。

我想知道什么是最好的方法,我最初考虑过创建自定义FTP Kafka Connect,这也将更改任务DB状态。这是最好的方法,还是这里还有其他选项?

驱动更新任务数据库状态的需求是什么?

在我的头顶上,您可以编写一个自定义应用程序,该应用程序跟踪FTP接收器与可用消息的偏移,并根据需要更新数据库。

值得注意的是,https://www.confluent.io/product/control-center/可以跟踪Kafka Connect Pipeline中消息的交付,并在潜伏期上发出警报。

最新更新