我有一个有1个主9个节点的spark集群。我在独立模式下运行。我无法从集群中的任何节点访问web浏览器(我通过ssh连接到节点—这是一个grid5000集群)。我想知道，在这种情况下是否有可能访问Spark Web UI ?我尝试将SPARK_PATH/work中集群的日志复制到我的本地机器上(让人觉得集群中运行的作业是在我的本地机器上运行的)。这个想法是在阅读了文档中的这一部分后产生的:
如果一个应用程序在其生命周期内记录了事件，那么独立主机的web UI将在应用程序完成后自动重新呈现应用程序的UI。
但它没有工作。我在UI中看到的是:
Applications: 0 Running, 0 Completed驱动:0运行，0完成状态:活着
谢谢!
您不需要复制任何内容，只需访问主机上的8080端口或应用程序机器上的4040端口(当应用程序正在运行时)。如果机器不能从外部访问，则必须通过SSH建立隧道。
通过SSH隧道是一个热门话题，只需搜索它。我个人使用ssh -D 9999，然后使用foxproxy插件将localhost:9999设置为代理，该插件适用于Firefox和Chrome。