Nifi负载均衡器



我构建了一个3主机的nifi集群。它在工作,但我不能使用平衡器。我所能做的就是直接连接到一个主机。是否有人使用平衡器设置了nifi集群?即:你们如何处理证书问题?

您正在尝试UI交互或特定处理器/输入源的负载平衡吗?使用NiFi的零主集群(ZMC),在1.0.0+中可用,您可以连接到任何连接节点的UI并监控&修改流程。如果您正在尝试负载平衡输入数据,我建议在主节点上运行一个单点入口处理器(见下面的节选),然后在整个集群中分发数据,或者如果您真的需要立即进行性能负载平衡,可能会设置HAProxy或其他前端负载平衡器(甚至轮询DNS)并指向所有可用节点。

如果您正在尝试跨集群负载平衡工作,允许节点之间传输的远程进程组将自动在可用的NiFi节点之间平衡数据。

来自NiFi Admin Guide

Primary Node:每个集群有一个Primary Node。在此节点上,可以运行"隔离处理器"。(见下文)。ZooKeeper用于自动选择主节点。如果该节点由于任何原因与集群断开连接,将自动选择一个新的主节点。用户可以通过查看用户界面的Cluster Management页面来确定当前哪个节点被选为主节点。

隔离处理器:在NiFi集群中,相同的数据流在所有节点上运行。因此,流中的每个组件都在每个节点上运行。但是,在某些情况下,DFM可能不希望每个处理器都在每个节点上运行。最常见的情况是使用处理器与使用不能很好扩展的协议的外部服务进行通信。例如,GetSFTP处理器从远程目录进行拉取,如果在集群中的每个节点上运行的GetSFTP处理器同时尝试从相同的远程目录进行拉取,则可能存在竞争条件。因此,DFM可以将主节点上的getftp配置为隔离运行,这意味着它仅在该节点上运行。它可以拉入数据,并通过适当的数据流配置在集群中的其他节点上实现负载平衡。请注意,虽然存在此功能,但简单地使用独立的NiFi实例来提取数据并将其提供给集群也是非常常见的。这取决于可用的资源和管理员决定如何配置集群。

最新更新