尝试从Confluent在Zookeeper上运行Apache/NIFI



我正试图在合流的zookeeper上运行Apache/NIFI。NIFI 1.11.3版通过打开焦油容器安装在/opt/NIFI中,汇流是社区版,5.3版。使用合流回购安装https://packages.confluent.io/rpm/5.3.

所以NIFI使用集成的zookeper工作,如果我从Apache/zookeeper站点单独下载zookeepper,NIFI也会工作。Confluent Kafka还与独立的动物园管理员和NIFI集成。但我无法使用合流中的动物园管理员使其工作。

在日志中,我只看到一个警告,那就是:

WARN Received packet at server of unknown type 15 (org.apache.zookeeper.server.ZooKeeperServer)

我的三个动物园管理员的配置文件都是一样的:

tickTime=2000
dataDir=/var/lib/zookeeper/
clientPort=2181
initLimit=5
syncLimit=2
server.1=myhost1:2888:3888
server.2=myhost2:2888:3888
server.3=myhost3:2888:3888
autopurge.snapRetainCount=3
autopurge.purgeInterval=24

我不认为Confluent真的改变了他们的动物园管理员。这个错误的原因可能是什么?

正如@BryanBende所说:

NiFi 1.11.x(在我们的特殊情况下,1.11.4(需要ZK 3.5,请确认Confluent平台中使用的ZK版本,IF ITS 3.4 THEN它不会起作用–Bryan Bende 3月27日下午14:35

您将在动物园管理员日志中看到的典型错误:

10月8日17:22:23 some-pro-zk03动物园管理员服务器启动[14136]:[2020-10-08 17:22:23275]信息已接受来自的套接字连接/10.10.10.1:53794(org.apache.zookeeper.server.NIOServerCnxnFactory(

10月8日17:22:23 some-pro-zk03动物园管理员服务器启动[14136]:〔2020-10-08 17:22:23275〕信息拒绝客户端的会话请求/10.10.10.1:53794因为它已经出现了zxid 0x400000000我们的最后一个zxid是0x30000004客户端必须尝试其他服务器(org.apache.zookeeper.server.ZooKeeperServer(

10月8日17:22:23some-pro-zk03动物园管理员服务器启动[14136]:[2020-10-08 17:22:23275]INFO客户端的封闭套接字连接/10.159.164.93:53794(无为客户端建立的会话((org.apache.zookeeper.server.NIOServerCnxn(

您将在客户端日志中看到的典型错误:

2020-10-07 16:00:09112错误[Curator-Framework-0]o.a.c.fmps.CuratorFrameworkImpl后台操作重试uporg.apache.zookeeper.KeeperException$ConnectionLossException:KeeperErrorCode=ConnectionLossatorg.apache.zookeeper.KeeperException.create(KeeperException.java:102(org.apache.curulator.framework.imps.CuratorFrameworkImpl.checkBackgroundRetry(CuratorFrameworkImpl.java:862(org.apache.curulator.framework.imps.CuratorFrameworkImpl.performBackgroundOperation(CuratorFrameworkImpl.java:990(org.apache.curulator.framework.imps.CuratorFrameworkImpl.backgroundOperationsLoop(CuratorFrameworkImpl.java:943(org.apache.curulator.framework.imps.CuratorFrameworkImpl.access$300(CuratorFrameworkImpl.java:66(org.apache.curulator.framework.imps.CuratorFrameworkImpl$4.call(CuratorFrameworkImpl.java:346(java.util.concurrent.FFutureTask.run(FutureTask.java:266(java.util.concurrent.ScheduledThreadPoolExecutor$ScheduledFutureTask.access$201(ScheduledThreadPoolExecutor.java:180(java.util.concurrent.ScheduledThreadPoolExecutor$ScheduledFutureTask.run(ScheduledThreadPoolExecutor.java:293(java.util.concurrent.ThreadPoolExecutiator.runWorker(ThreadPoolExecutiator.java:1149(位于java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:624(java.lang.Thread.run(线程.java:748(

这需要一整天的工作(读取日志!!(才能找到错误。所以,检查一下你的动物园管理员版本:

对于动物园管理员3.5+

echo srvr | nc localhost 2181

对于动物园管理员3.5<

echo stats | nc localost 2181

也可以使用telnet

对于动物园管理员3.5+

telnet localhost 2181
srvr

对于动物园管理员3.5<

telnet localhost 2181
stats

最新更新