在火花群集中配置主节点



提前道歉,因为我是新来的。我已经在独立模式下创建了一个具有 4 个工作线程的 Spark 群集,在成功配置工作线程属性后,我想知道如何配置主属性。

我正在编写一个应用程序并使用SparkSession.builder将其连接到集群(我不想使用Spark-submit提交它。

我知道可以在conf/spark-env.sh文件中配置工人,并且可以设置"SPARK_WORKER_MEMORY"和"SPARK_WORKER_CORES"等参数

我的问题是:如何配置主节点的属性?因为此文件中没有"SPARK_MASTER_CORES"或"SPARK_MASTER_MEMORY"。

我想过在spark-defaults.conf文件中设置它,但是这似乎仅用于 spark-submit。

我想过使用SparkConf().set("spark.driver.cores", "XX")在应用程序中设置它,但这只指定了此应用程序要使用的内核数。

任何帮助将不胜感激。

谢谢。

设置 Spark 主节点(驱动程序(和 Spark 工作节点配置的三种方法。我将展示设置主节点内存的示例。其他设置可以在这里找到

1-通过SpackConf类以编程方式。

例:

new SparkConf().set("spark.driver.memory","8g")

2-使用Spark-Submit:确保不要在代码中设置相同的配置(编程方式类似于1(和在执行Spark提交时。 如果已以编程方式配置设置,则 Spark-submit 中提到的与 (1( 重叠的每个作业配置都将被忽略。

例:

spark-submit --driver-memory 8g

3-通过Spark-defaults.conf: 如果以上均未设置,则此设置将是默认值。

例:

spark.driver.memory     8g