Spark 如何限制 CPU 内核和内存的使用

Question

Spark如何限制CPU内核和内存的使用？它使用 cgroups 吗？纱线怎么样？

Answer 1

在独立群集中，Spark 仅使用提供的资源池管理应用程序预定义的资源配置。资源池基于作为药膏添加到集群的执行程序进行组合。Yarn 使用容器和资源限制应用容器配置，定义最小和最大核心和内存分配。

Answer 2

在 YARN 中，NodeManager 正在监控 Spark executor 的内存使用情况，如果他们使用上面的 spark.executor.memory 来杀死它们

对于 CPU，spark.executor.cores 是执行器可以运行的并发任务量。有关 Spark 配置文档的详细信息

您可以在 yarn 中启用 cgroups，并限制 CPU 使用率或 YARN 容器(Spark 执行器(。