将大型数据流式传输到Apache Nifi中的flowfile，而无需OOM

Question

我使用apache nifi来处理大文件。因此，输出流文件也会很大。如何处理？也许使用session.append(byte []);或使用一些/tmpdir来存储。例如，我的文件是 10Gb，而处理器产生 8Gb，因此 JVM 会因OOM而失败。

Answer 1

您需要将 JVM 的堆大小设置为足够大以处理此问题(即-Xmx=20GB在bootstrap.conf)。当然，流媒体方法也会有所帮助。查看ReplaceText等现有示例，了解如何处理流式处理。