我现在正在Kubernetes上运行Flink。我想,如果我更新TaskManager部署的副本,Kubernetes会为我增加/减少TM pod的数量,但我不确定这是否就是我需要做的全部。我需要做其他事情来使工作适应更多/更少的TM吗?
Apache Flink默认情况下不会根据任务管理器数量的变化重新缩放。
对于Flink如何在K8s环境中重新缩放,有各种方案。一个被称为";"活动模式";,Flink知道自己想要什么资源,并与K8合作以相应地获取/释放资源。有关详细信息,请参阅如何在Kubernetes上原生部署Flink。
另一种方案;"反应模式";,这正是你所希望的:Flink扩展自己的规模,以使用任何可用的资源。有关详细信息,请参阅弹性缩放。
您还可以在Kubernetes上部署Flink,这实际上是一个独立部署的容器化版本。在这样的环境中,重新缩放包括以下步骤:
- 获取保存点时停止作业
- 在安排了适当大小的新集群后,从保存点恢复作业
Flink Operations Playground提供了一个如何在基于docker compose的部署中进行重新缩放的分步示例。