AWS EMR容器没有使用所有可用的内核

Question

我有一个EMR集群，它已经正确地产生了6个执行者，每个4个核心。当spark作业在集群上运行时，它创建了6个容器，每个容器只分配1个核心，我如何指定每个容器分配的核心数量?

相关配置:

spark.executor.instances: 5
spark.executor.cores: 4
yarn.scheduler.minimum.allocation.vcores: 4

Answer 1

这似乎只是这里讨论的Yarn UI报告错误每个执行器容器的数据进程集vcore数

Spark UI显示执行器中正确的核数，并且应用程序的日志文件表明它已被分配了正确的核数。