我正在(4个节点的)远程集群设置上运行Spark应用程序。
当我用以下命令在远程机器上以本地模式运行应用程序时,
spark-submit --class "Main" --master local[*] target/scala-2.10/myapponspark_2.10-1.0.jar
我在日志中收到以下消息,
INFO ui.SparkUI: Started SparkUI at http://ab2.xxx.in.yyy.com:4041
并且能够访问Spark web UIhttp://ab2.xxx.in.yyy.com:4041.
但是,当我在纱线客户端(或纱线集群)模式下运行时,通过给出以下命令
spark-submit --class "Main" --master yarn-client target/scala-2.10/myapponspark_2.10-1.0.jar
出现相同的日志消息,说明Spark web ui在与上面相同的地址启动。但我无法从浏览器访问网页。原因可能是什么?
尝试从提交Spark作业的机器访问浏览器。或者使用以下命令的ssh
$ssh -X uname@ip_address
然后使用从远程打开firefox
$firefox &
你可以查看Spark UI。