我正在尝试找出在Dataproc上运行Apache Flink并使用Google Pub/Sub作为源/接收器的正确方法。当我创建 Dataproc 集群时，将 flink 初始化操作应用于最新的镜像 1.4 后，将安装 Flink 1.6.4。
问题是 flink-connector-gcp-pubsub 只能从 Flink 版本 1.9.0 开始。
所以我的问题是，将所有这些一起使用的正确方法是什么？我应该用最新的 Flink 构建自己的 gce 镜像吗？是否已经存在？
正如你已经说过的flink-connector-gcp-pubusub只能在 Flink 1.9.0 中使用。所以你有两个选择：
- 要么自己实现连接器
- 根据 flink 初始化操作构建自己的镜像
我不建议实现连接器，因为它是一项复杂的任务，需要深入了解 Flink，而构建自己的映像应该相对容易，以 Flink 1.6.4 为例
我通过在 Kubernetes 中运行 Flink 1.9.0 解决了这个问题。这样我就不依赖任何人，可以运行我需要的任何版本。