我们正在研究如何对 flink 任务进行动态缩放。该任务即将阅读卡夫卡主题中的流媒体并执行...然后沉浸到另一个卡夫卡话题。我们知道必须首先停止 flink 作业来修改并行性，这不是我们想要的。
由于我们无法在不停止 flink 作业的情况下动态向任务添加资源，我们是否可以复制 flink 作业（通过 kafka 主题中的相同 groupid 消耗）来提高性能？此外，是否可以使用 yarn 或 kubernetes 来管理这些作业，并为这样的 flink 任务（使用 kafka）实现伪动态扩展？
是否有理由不想通过停止作业来修改并行性？
您可以这样做，但是您可以有效地将数据拆分到各个作业中。因此，您不仅会产生现在需要了解多个作业的吞吐量以有效地自动缩放的成本，而且还会使所做的任何有状态处理都会导致不正确/不一致的结果。