如何放大/缩小正在运行的Flink集群



我现在正在Kubernetes上运行Flink。我想,如果我更新TaskManager部署的副本,Kubernetes会为我增加/减少TM pod的数量,但我不确定这是否就是我需要做的全部。我需要做其他事情来使工作适应更多/更少的TM吗?

Apache Flink默认情况下不会根据任务管理器数量的变化重新缩放。

对于Flink如何在K8s环境中重新缩放,有各种方案。一个被称为";"活动模式";,Flink知道自己想要什么资源,并与K8合作以相应地获取/释放资源。有关详细信息,请参阅如何在Kubernetes上原生部署Flink。

另一种方案;"反应模式";,这正是你所希望的:Flink扩展自己的规模,以使用任何可用的资源。有关详细信息,请参阅弹性缩放。

您还可以在Kubernetes上部署Flink,这实际上是一个独立部署的容器化版本。在这样的环境中,重新缩放包括以下步骤:

  1. 获取保存点时停止作业
  2. 在安排了适当大小的新集群后,从保存点恢复作业

Flink Operations Playground提供了一个如何在基于docker compose的部署中进行重新缩放的分步示例。

最新更新