如何决定Spark Yarn配置属性

Question

我们正在使用apache spark开源群集，我有一个config。

Total 6 nodes.
32GB per node
16 PUS per node

有人可以帮助我找到以下属性的正确值。

yarn.nodemanager.resource.memory-mb
yarn.scheduler.maximum-allocation-mb
yarn.nodemanager.resource.cpu-vcores

高于属性影响工作时间吗？

谢谢。

Answer 1

yarn.nodemanager.resource.memory-mb，yarn.scheduler.maximum-alocation-mb指定可以分配给容器的最大内存指定可分配给容器的最大核心数。

默认情况下，将一个CPU核心和1GB内存分配给一个容器（Spark中的执行程序），默认情况下，将为Spark应用程序创建2个容器（2个执行器）。

我们可以使用以下属性覆盖执行人的内核数量和内存量-conf spark.executor.memory = 4g，-conf spark.executor.cores = 2

我们也可以使用以下属性覆盖火花应用程序的执行者数量-conf spark.executor.instances = 3