引用自javadoc onStreamExecutionEnvironment.setMaxParallelism
:最大并行度指定了动态扩展的上限。
这里究竟是指哪个动态缩放?我找不到任何操作员自动扩展的经验证据:无论您有多少空闲插槽,也无论maxParallelism
有多大,以及有多少个逻辑分区,实际的并行度(根据 web ui(始终是通过setParallelism
设置的并行度
此外,根据这一点,最被接受且从未受到挑战的答案 https://stackoverflow.com/a/43493109/2813148 Flink 中没有动态缩放这样的东西。
那么有没有呢?或者javadoc具有误导性(或者那里的"动态"是什么意思(? 如果没有,是否有此功能的计划?
Flink(在 1.5.0 版本中(尚不支持动态缩放。
但是,可以通过采用保存点、停止正在运行的作业并使用调整的(更小或更大(并行度重新启动作业来手动缩放作业(或由外部服务(。但是,新的并行度最多可以是以前配置的最大并行度。启动作业后,最大并行度将烘焙到保存点中,无法再更改。
对动态扩展的支持已在路线图上。从 1.5.0 版本(2018 年 5 月发布(开始,Flink 支持来自 Yarn 和 Mesos 等资源管理器的动态资源分配。这是迈向动态扩展的重要一步。事实上,此功能的实验版本已经在 2018 年 4 月的 Flink Forward SF 2018 上进行了演示。