Spark on Mesos如何设置驱动程序的位置



我在Mesos上以集群模式运行Spark。

当我提交作业时,驱动程序在任何从属节点上随机运行。有没有办法我可以指定司机的位置?例如,我想在其上运行的从属设备的IP。

我可以使用spark.driver.host 吗

谢谢,

否。在集群模式下,即使用./bin/spark-submit命令中的--deploy-mode cluster选项,将在集群中的节点上启动驱动程序。您不应该设置spark.driver.host和/或spark.driver.port,因为这是由SparkContext以编程方式设置的。

最新更新