使用本地存储的持久性存储(EBS)在EKS中闪烁



如果我将EBS卷用于本地存储,是否需要考虑任何特殊处理?

更清楚地说,如果我在AWS EKS中运行1个作业管理器和5个任务管理器(每个实例1个任务管理者(,由EBS卷支持本地存储(RockDB(和S3的检查点机制,并且其中一个任务管理程序实例由于某种原因被重新启动(将此实例称为X(,那么现在一个新节点加入(将此示例称为Y(,并从S3检索本地存储。现在,假设新节点(节点Y(从EKS离开,节点X加入Flink集群,在这种情况下会发生什么?由于Node X已经有了持久状态(但是旧状态(,flink是否会删除旧状态并从S3下载最近的状态?Flink内部是如何处理的?

将EBS卷用于本地存储是否存在任何缺陷?

首先,使用本地SSD比EBS卷更好。EBS通过网络连接到实例,这使得RocksDB本地状态访问与其他网络活动竞争网络。本地SSD的性能更好,它们是短暂的这一事实并不重要。

如果配置本地恢复,那么任何幸存的节点都将使用其本地状态,而不是从S3获取最新的快照,而任何新节点都将从S3检索其状态。如果集群的前成员X在流亡一段时间后重新加入,它将删除它所拥有的任何状态,并从S3中获取它所需要的状态。

相关内容

  • 没有找到相关文章

最新更新