无法在纱线模式下访问Spark web ui



我正在(4个节点的)远程集群设置上运行Spark应用程序。

当我用以下命令在远程机器上以本地模式运行应用程序时,

spark-submit --class "Main" --master local[*] target/scala-2.10/myapponspark_2.10-1.0.jar

我在日志中收到以下消息,

INFO ui.SparkUI: Started SparkUI at http://ab2.xxx.in.yyy.com:4041

并且能够访问Spark web UIhttp://ab2.xxx.in.yyy.com:4041.

但是,当我在纱线客户端(或纱线集群)模式下运行时,通过给出以下命令

spark-submit --class "Main" --master yarn-client target/scala-2.10/myapponspark_2.10-1.0.jar

出现相同的日志消息,说明Spark web ui在与上面相同的地址启动。但我无法从浏览器访问网页。原因可能是什么?

尝试从提交Spark作业的机器访问浏览器。或者使用以下命令的ssh

$ssh -X uname@ip_address

然后使用从远程打开firefox

$firefox &

你可以查看Spark UI。

相关内容

  • 没有找到相关文章