一种在不关闭集群的情况下增加 EMR 主节点容量的解决方案



我的 EMR 主节点已满,我需要为其附加一些 ESB 卷,有什么方法可以在不终止集群的情况下做到这一点吗?

您可以添加额外的EBS卷并调整大小

如何在这里解释:

https://superuser.com/questions/1409373/how-to-add-an-ebs-volume-by-snapshot-id-to-amazon-emr

https://github.com/qyjohn/AWS_Tutorials/wiki/Grow-EBS-volumes-on-EMR-clusters

我不这么认为。这是因为您在启动集群时设置了 Amazon 弹性块存储 (Amazon EBS( 卷并配置挂载点,因此在集群运行后很难修改存储容量。

可行的解决方案通常涉及向 集群,将数据备份到数据湖,然后启动新的 具有更高存储容量的集群。或者,如果占用的数据 存储是消耗性的,删除多余的数据通常是这样 去。

有关更多详细信息,请查看:https://aws.amazon.com/blogs/big-data/dynamically-scale-up-storage-on-amazon-emr-clusters/

最新更新