在第一个 Amazon-EMR 集群完成后启动另一个集群



我有一个主 emr 集群在执行一系列步骤作业,我必须再添加 8 个步骤。

我面临的问题是,第一个 EMR 集群对于这 8 个步骤来说太强大了。

因此,我想知道是否有一种简单的方法可以在第一个集群完成时自动启动另一个集群(它将从 r4.8xlarge 降级到 r4.xlarge,8 到 10 个实例(。

为此,我是否应该调用云形成 template.sh 在第一个结束时激活?

无论硬件如何,这些步骤都需要 4 小时,这就是我旨在降低集群成本的原因。

有几种方法可以做到这一点。

我会选择的是 Amazon DataPipeline 或 Step 函数。 您的第一个 EMR 集群的作业是 EMR 活动 1。您可以在管道中添加另一个步骤作为另一个 EMR 活动,以添加具有较小 EMR 集群的后续步骤。

相关内容

最新更新