我试图升级Apache Zeppelin以使用Flink 1.4.2。检查 Flink 齐柏林飞艇解释器的源代码,我没有找到任何从 Flink 版本的角度来看似乎是材料的东西,所以我只是将 pom 文件中的 Flink 版本更新到 1.4.2 并从源代码运行一个新构建,这令人惊讶地有效。运行 Flink 批处理示例笔记本(或我自己的流式示例(我收到以下错误,我无法正确理解
org.apache.thrift.transport.TTransportException
at org.apache.thrift.transport.TIOStreamTransport.read(TIOStreamTransport.java:132)
at org.apache.thrift.transport.TTransport.readAll(TTransport.java:86)
at org.apache.thrift.protocol.TBinaryProtocol.readAll(TBinaryProtocol.java:429)
at org.apache.thrift.protocol.TBinaryProtocol.readI32(TBinaryProtocol.java:318)
at org.apache.thrift.protocol.TBinaryProtocol.readMessageBegin(TBinaryProtocol.java:219)
at org.apache.thrift.TServiceClient.receiveBase(TServiceClient.java:69)
at org.apache.zeppelin.interpreter.thrift.RemoteInterpreterService$Client.recv_interpret(RemoteInterpreterService.java:274)
at org.apache.zeppelin.interpreter.thrift.RemoteInterpreterService$Client.interpret(RemoteInterpreterService.java:258)
at org.apache.zeppelin.interpreter.remote.RemoteInterpreter$4.call(RemoteInterpreter.java:233)
at org.apache.zeppelin.interpreter.remote.RemoteInterpreter$4.call(RemoteInterpreter.java:229)
at org.apache.zeppelin.interpreter.remote.RemoteInterpreterProcess.callRemoteFunction(RemoteInterpreterProcess.java:135)
at org.apache.zeppelin.interpreter.remote.RemoteInterpreter.interpret(RemoteInterpreter.java:228)
at org.apache.zeppelin.notebook.Paragraph.jobRun(Paragraph.java:437)
at org.apache.zeppelin.scheduler.Job.run(Job.java:183)
at org.apache.zeppelin.scheduler.RemoteScheduler$JobRunner.run(RemoteScheduler.java:305)
at java.util.concurrent.Executors$RunnableAdapter.call(Executors.java:511)
at java.util.concurrent.FutureTask.run(FutureTask.java:266)
at java.util.concurrent.ScheduledThreadPoolExecutor$ScheduledFutureTask.access$201(ScheduledThreadPoolExecutor.java:180)
at java.util.concurrent.ScheduledThreadPoolExecutor$ScheduledFutureTask.run(ScheduledThreadPoolExecutor.java:293)
at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1149)
at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:624)
at java.lang.Thread.run(Thread.java:748)
很高兴了解我们如何在齐柏林飞艇中迁移到最新的 Flink 版本。
Flink 用户邮件列表上最近的一个帖子介绍了如何更新齐柏林飞艇以使用 Flink 1.4.2。该电子邮件包含未出现在存档中的图像,因此我将在此处包含相关信息:
您需要在齐柏林飞艇中设置两个属性,这些属性指向齐柏林飞艇服务器要使用的 flink 集群的作业管理器:
jobmanager.rpc.host
jobmanager.rpc.port
请注意,还有名为 host 和 port 的属性,但它们不用于此目的。
你需要使用Profile scala-2.11和Flink 1.4.2构建Zeppelin。