调整正在运行的 EMR 集群的大小会加快现有正在运行的作业的执行速度

Question

我正在运行一个具有 25 个节点的 EMR 集群，并且作业连续运行了 15-20 分钟。我意识到还需要 30-40 分钟，所以我在集群中添加了 10 个任务节点。但我没有看到任何改善。

添加这些额外的任务节点会增加当前作业中的并发映射器执行，还是额外的节点将仅用于调整大小后启动的作业？

Answer 1

这取决于MapReduce作业的结构。如果有待处理的任务，则将使用其他节点。如果作业根据群集的原始大小确定其任务数，则在新作业提交之前，其他节点不会产生影响。