我有从YARN集群中通过IP可见的私有主机数量，但不通过主机名。当他们尝试在YARN客户端模式下提交任何Spark作业时，会尝试从集群连接驱动程序主机。由于默认情况下spark.driver.host配置为本地主机名，因此此操作失败。
那么有什么好的选择来处理这个问题吗?比如自动设置"spark.driver"。主机到客户端的IP接口地址，用于连接到集群?
- 正确的DNS解析不是选项。不可能的。
基于此http://spark.apache.org/docs/latest/configuration.html似乎它也可以接受IP。所以你不需要设置主机名。
理想情况下，该属性的值必须是集群节点的内部地址。