打开/关闭AWS EMR集群

Question

如何打开/关闭EMR集群?只有一种可能永久终止。如果我晚上不需要集群，也不想每天早上创建一个新的集群，该怎么办?

Answer 1

你不能这么做。不支持停止EMR集群。当您不需要它时，您只需终止它。

为了保护您的数据，您应该使用EMRFS，它允许EMR集群从S3读取数据。这样，就不需要将任何数据从S3复制到HDFS。

Answer 2

您可以启用EMR UI中可用的scale upscale down策略，并根据多个指标(即ramcpu利用率)调整集群的大小。您还可以创建外部作业，它将通过awscli向EMR发送scale upscale down命令，并且您可以将这些作业安排在早上和晚上运行。根据我的经验，调整任务节点的大小可以很好地工作，而调整核心节点的大小需要HDFS同步，只有当你不在EMR上运行任何任务时才能工作。