我正在深入研究 Flink 内部,看看如何在项目中使用它,并向创作者/高级思想家提出了一个问题......为什么 Flink 使用 Yarn 作为默认资源管理器?
考虑过 Kubernetes 吗?或者这是我们从 Yarn 开始做的事情之一,它运行得很好......
我遇到过许多项目和文章,这些项目和文章允许 Kubernetes 和 Yarn 一起工作,包括允许 Worm 与 Mesos 一起部署的 Myraid 项目(但我使用的是 Kubernetes......
我有一个非常大的计算集群 2000 左右的节点,我想使用 Flink 的超酷 CEP 功能,从 Kafka 基础设施(也部署到这个 kubernetes 环境中)提供。
我希望了解使用 Yarn 作为 Flink 下的资源管理器背后的原因,以及是否有可能(对项目做出一些努力和贡献)使 Kubernetes 与 Yarn 一起成为一种选择。
请注意 - 我是 Yarn 的新手 - 只是阅读它。也是 Flink 的新手,并了解了部署和横向扩展架构。
Flink 不绑定到 YARN。它也可以在Apache Mesos上运行,也有用户在Kubernetes上运行它。在当前版本(Flink 1.4.1)中,在 Kubernetes 中运行 Flink 时需要考虑一些事项(参见 Patrick Lucas 的演讲)。
Flink 社区目前也在努力改进 Flink 对容器设置的支持。这项工作被称为FLIP-6,将包含在下一个版本(Flink 1.5.0)中。