我使用的是 10 核 r4.8xlarge 集群。AWS 文档 https://aws.amazon.com/ec2/virtualcores/指出，每个 EC2 实例类型 r4.8xlarge 包含 16 个虚拟核心计数。问题1.这是否意味着有 160 个并行内核(每个执行程序 16 个内核。我还问，核心=火花执行者(？问题 2.火花文档说
The number of cores allocated to the Spark Streaming application must be more than the number of receivers. Otherwise the system will receive data, but not be able to process it.
问题 2.如果我要为我的 Spark 流作业创建 15 个接收器，我是否应该设置 spark.executor.cores = 15 或更高版本。还是应该将群集的总核心数从 10 个增加到 15 个？
对问题 2 的回答：
您可以将spark.dynamicAllocation.enabled设置为true(默认情况下false(以动态分配执行程序，在 EMR 上运行时，最好利用这一点。
在这里和这里阅读它