Nifi 在前一天合并的 json 文件的 HDFS 路径上移动文件



我需要将前一天处理和合并的json文件移动到新的hdfs路径中。要求是递归搜索未处理的文件并移动挂起的未处理文件。

路径 1 ->/data/nifi/working/2019/10/source_2019_10_15.json --- 每日处理的文件将合并在此路径下,并每天添加。 路径 2 ->/data/nifi/incoming/-- 代码应该搜索文件夹不存在,然后创建和移动文件,如果文件夹已经存在,则只是移动文件。

目前,我正在使用nifi flow - ListHDFS->MoveHDFS,但无法实现它。

需要帮助如何实现这一目标。

谢谢你的帮助。

电流工作正常。

listhdfs->fethchdfs->updateattribute->puthdfs

在 listhdfs 中,设置使用前的最短文件老化等待时间。这将允许进程递归搜索文件,并使用 updateattribute 将文件夹重新创建为 并将文件处理为/data/nifi/incoming/中。

相关内容

  • 没有找到相关文章

最新更新