NiFi:使用ListFile/GetFile处理器时如何存储maxTimestamp?

Question

我使用的是MiNiFi 0.3和NiFi 1.5版本。

我们需要使用 MiNiFi 从"A"文件夹中提取数据(csv)，并发送到在 Linux 中运行的 NiFi。

例如，如果文件在凌晨 1 点到达时有 10 条记录，我们需要将文件从"A"文件夹移动到 NiFi 集线器。 10 分钟后(凌晨 1.10 点)，附加的文件将与旧的 10 条记录和新的 10 条记录一起到达。因此，它总共将包含 20 条记录。

我们只需要将新的 10 条记录发送到 NiFi 集线器。

我尝试了列表文件 -> FetchFile，但由于我们需要移动数据。 这不起作用。 然后我尝试使用 GetFile 处理器，但它捕获了整个 20 条记录。

有没有办法实现这个场景。

提前谢谢。

Answer 1

使用FetchFile，您可以使用属性Completion Strategy对其进行配置以Move File甚至Delete File(然后您可以随时PutFile它)。