我可以在向卡夫卡发送消息后删除Nifi中的文件吗



嗨,我正在使用nifi作为ETL工具。

处理IMG

这是我目前的流程。我使用TailFile检测CSV文件,然后向Kafka发送消息。

到目前为止,它工作得很好,但我想在将CSV的内容发送到Kafka后删除CSV文件。

有办法吗?

感谢

这取决于您使用TailFile的原因。从文档来看,

"Tails" a file, or a list of files, ingesting data from the file as it is written to the file

TailFile用于获取在写入时添加到同一文件中的新行。如果您需要跟踪正在写入的文件,什么条件决定它不再被写入?

但是,如果您只是从本地文件系统中消费完整的文件,那么您可以使用GetFile,它提供了在消费文件后删除文件的选项。

在远程文件系统中,您可以使用ListSFTP和FetchSFTP,它们具有要移动或删除的完成策略。

最新更新