Flink-在kubernetes上部署Flink应用程序的多个实例



我需要在K8 上部署Flink应用程序的帮助

我们有3个源将以SQL查询的形式发送触发条件。总查询量约为3-6k,实际上是对flink实例的沉重负载。我试着执行,但速度很慢,需要很长时间才能开始。

由于查询量很大,我们决定为每个源创建多个flink应用程序实例。因此有效地,一个flink实例将仅执行约1-2K个查询。

示例:sql查询源是A、B、C

Flink实例:

应用程序A->将只负责处理源A查询

应用程序B->将只负责处理源B查询

应用程序C->将只负责处理源C查询

我想在Kubernetes 上部署这些实例

问题:

a( 有可能部署带有迷你集群(内置(的独立flinkjar吗?就像刚开始的主方法:Java-cp mainMethod(sourceName是命令行参数A/B/C(。

b( 如果k8的一个pod或flink实例坏了,那么我们如何在另一个pod或者另一个flink实例中管理它?是否可以将工作交给其他pod或其他flink实例?

对不起,如果我把两件或两件以上的东西混在一起:(

感谢你的帮助。感谢

抛开一次语义的问题不谈,处理这一问题的一种方法是使用一个并行源函数来发出SQL查询(每个子任务一个(,以及一个下游FlatMapFunction来执行查询(每个个子任务一个查询(。然后,您的源可以向查询发送更新,而无需强制您重新启动工作流。

相关内容

  • 没有找到相关文章

最新更新