Spark Worker-在独立模式下更改web ui主机



当我查看主节点的web ui时,它会显示我当前连接到集群的所有工作人员。

https://spark.apache.org/docs/3.0.0-preview/web-ui.html

不过,我遇到的问题是,它在web ui中用于工作节点的IP地址不正确。有没有办法更改master的web ui中使用的worker的web ui host/ip?

通读文献,似乎有";WORKER_WEBUI_PORT";它为工人设置了端口,但似乎没有"端口";SPARK_WORKER_WEBUI_HOST";。

http://spark.apache.org/docs/latest/spark-standalone.html

为了提供更多的上下文,我目前有一个以独立模式部署的spark集群。spark集群(主集群和从集群(都在路由器(NAT(后面。工作进程使用其内部IP地址绑定到主进程。我设置了端口转发,以将外部流量路由到每个主机和从机。问题是,由于我的工作人员使用其内部IP地址绑定到主节点,因此它使用主节点的web ui中的内部IP地址。这使得NAT之外的所有人都无法访问工作节点的web ui。如果有一种方法可以专门为我的每个工作节点的网络ui设置IP地址,那么这将解决这个问题。谢谢

经过更多的研究,我确定我要寻找的环境变量是:SPARK_PUBLIC_DNS

http://spark.apache.org/docs/latest/spark-standalone.html

这允许我为我的工作人员设置一个不同的外部主机名。

最新更新