Flink JobManager HA on Kubernetes

Question

JobManager HA 上最新的 Flink 1.9 文档仅涵盖独立和 YARN。我正在寻找如何在 Kubernetes 上启用 HA。

Answer 1

在 K8s 上部署 Flink 使用独立模式，您只需要将 HA 配置添加到 flink-conf.yaml 中：

high-availability: zookeeper
high-availability.zookeeper.quorum: localhost:2181
high-availability.zookeeper.path.root: /flink
high-availability.cluster-id: /cluster_one # important: customize per cluster
high-availability.storageDir: hdfs:///flink/recovery

如何创建 Docker 镜像： https://github.com/apache/flink/tree/release-1.9/flink-container/docker

掌舵图： https://github.com/docker-flink/examples

如果使用 Helmchart 部署作业，则只需在 values.yaml 中添加 HA 配置：

flink:
num_taskmanagers: 3
config: |
high-availability: zookeeper
high-availability.zookeeper.quorum: localhost:2181
high-availability.zookeeper.path.root: /flink
high-availability.cluster-id: /cluster_one # important: customize per cluster
high-availability.storageDir: hdfs:///flink/recovery