我需要在K8 上部署Flink应用程序的帮助
我们有3个源将以SQL查询的形式发送触发条件。总查询量约为3-6k,实际上是对flink实例的沉重负载。我试着执行,但速度很慢,需要很长时间才能开始。
由于查询量很大,我们决定为每个源创建多个flink应用程序实例。因此有效地,一个flink实例将仅执行约1-2K个查询。
示例:sql查询源是A、B、C
Flink实例:
应用程序A->将只负责处理源A查询
应用程序B->将只负责处理源B查询
应用程序C->将只负责处理源C查询
我想在Kubernetes 上部署这些实例
问题:
a( 有可能部署带有迷你集群(内置(的独立flinkjar吗?就像刚开始的主方法:Java-cp mainMethod(sourceName是命令行参数A/B/C(。
b( 如果k8的一个pod或flink实例坏了,那么我们如何在另一个pod或者另一个flink实例中管理它?是否可以将工作交给其他pod或其他flink实例?
对不起,如果我把两件或两件以上的东西混在一起:(
感谢你的帮助。感谢
抛开一次语义的问题不谈,处理这一问题的一种方法是使用一个并行源函数来发出SQL查询(每个子任务一个(,以及一个下游FlatMapFunction
来执行查询(每个个子任务一个查询(。然后,您的源可以向查询发送更新,而无需强制您重新启动工作流。