我在Mesos上以集群模式运行Spark。
当我提交作业时,驱动程序在任何从属节点上随机运行。有没有办法我可以指定司机的位置?例如,我想在其上运行的从属设备的IP。
我可以使用spark.driver.host 吗
谢谢,
否。在集群模式下,即使用./bin/spark-submit
命令中的--deploy-mode cluster
选项,将在集群中的节点上启动驱动程序。您不应该设置spark.driver.host
和/或spark.driver.port
,因为这是由SparkContext
以编程方式设置的。