我在YARN集群模式下使用spark-submit向Cloudera集群提交了一个spark作业。
我得到以下异常:
org.apache.spark.deploy.yarn.ApplicationMaster$$anon$2.run(ApplicationMaster.scala:187)
Caused by: org.jboss.netty.channel.ChannelException: Failed to bind to: /myip:0
at org.jboss.netty.bootstrap.ServerBootstrap.bind(ServerBootstrap.java:272).
有人知道为什么应用程序主机不能绑定到驱动程序IP吗?
我找到了!
删除
.set("spark.driver.host","驱动程序计算机ip地址")
从您的驱动程序代码。
也发布在spark提交到cloudera集群找不到任何依赖的jar