Apache NiFi分布式性能

Question

我有一个大约40GB大小的文件，我的nifi集群在一个节点上运行，解压缩大约需要60分钟。如果我在2或3个节点上有这个处理器，处理器会分配它的工作吗？解压缩时间会降到3025分钟？提前感谢

Answer 1

如果文件是单个压缩的数据集合，则无法将其分布在多个节点之间，因为解压缩无法并行进行。如果这是一个包含多个独立压缩的数据片段的文件，这些数据片段只是连接在一起，那么是的，您可以将数据拆分为其组成部分，并将它们分发到多个节点以并行解压缩。