嗨,我正在使用nifi作为ETL工具。
处理IMG
这是我目前的流程。我使用TailFile检测CSV文件,然后向Kafka发送消息。
到目前为止,它工作得很好,但我想在将CSV的内容发送到Kafka后删除CSV文件。
有办法吗?
感谢
这取决于您使用TailFile的原因。从文档来看,
"Tails" a file, or a list of files, ingesting data from the file as it is written to the file
TailFile用于获取在写入时添加到同一文件中的新行。如果您需要跟踪正在写入的文件,什么条件决定它不再被写入?
但是,如果您只是从本地文件系统中消费完整的文件,那么您可以使用GetFile,它提供了在消费文件后删除文件的选项。
在远程文件系统中,您可以使用ListSFTP和FetchSFTP,它们具有要移动或删除的完成策略。