我需要将前一天处理和合并的json文件移动到新的hdfs路径中。要求是递归搜索未处理的文件并移动挂起的未处理文件。
路径 1 ->/data/nifi/working/2019/10/source_2019_10_15.json --- 每日处理的文件将合并在此路径下,并每天添加。 路径 2 ->/data/nifi/incoming/-- 代码应该搜索文件夹不存在,然后创建和移动文件,如果文件夹已经存在,则只是移动文件。
目前,我正在使用nifi flow - ListHDFS->MoveHDFS,但无法实现它。
需要帮助如何实现这一目标。
谢谢你的帮助。
电流工作正常。
listhdfs->fethchdfs->updateattribute->puthdfs
在 listhdfs 中,设置使用前的最短文件老化等待时间。这将允许进程递归搜索文件,并使用 updateattribute 将文件夹重新创建为 并将文件处理为/data/nifi/incoming/中。