使用的纱线vcors:纱线上的火花

Question

我在纱线上提交了Spark应用程序，以及以下配置

conf.set("spark.executor.cores", "3")
conf.set("spark.executor.memory", "14g")
conf.set("spark.executor.instances", "4")
conf.set("spark.driver.cores", "5")
conf.set("spark.driver.memory", "1g")

但是，在YARN Resource Manager UI上显示vCores used = 5，我期望VCORES曾经是 17（（（4x3） 5 = 17） I.Eceputor for Executor，驱动程序为5。但是它总是显示等于执行人 驱动程序= 5 。

请帮助我理解这一点！预先感谢

Answer 1

在火花配置文档中，您会看到以下内容：

spark属性主要可以分为两种：一种与部署有关，例如" spark.driver.memory"，" spark.executor.instances"，当通过SparkConf在SparkConf中设置在SparkConf中时，这种属性可能不会受到影响运行时或行为取决于您选择的群集管理器和部署模式，因此建议通过配置文件或Spark-Submit命令行选项设置；另一个主要与Spark Runtime控件有关，例如" Spark.Task.maxFailures"，可以以任何一种方式设置此类属性。

您需要从spark-submit命令行中设置的大多数设置，而不是代码中的大多数设置。无论如何，这通常是一种更好的练习，因此您可以使用不同的参数启动该作业，而无需重新编译。

您想要类似的东西：

spark-submit --num-executors 4 --executor-cores 3 --executor-memory 14g --driver-memory 1g --driver-cores 5 --class <main_class> <your_jar>