在Spark中,我熟悉的三个集群(非本地(部署选项:
- 独立
- Mesos
- 纱线
可能有更多集群部署选项,但我关心这三个。以上三种都支持客户端和集群部署模式。客户端模式涉及从边缘机器本身运行驱动程序,集群方式涉及在集群内的一个工作节点中启动驱动程序。
现在,在Flink方面,我只对1节点设置有经验,这是我从一些教程中学到的,该教程并没有真正详细说明生态系统,而是更多地关注代码,而不是"同时"提供全局。因此,为了理解这一点,我在Flink中查看了部署选项。文档中谈到了所有三个选项:Standalone、Mesos和YARN,但从文档中还不清楚它是否支持(我们用Spark的行话称之为(客户端模式或集群模式或两者都,或者 其他模式这个想法是用Flink集群取代Spark集群。当我执行这些步骤时,我想了解这些步骤。文档中提供了这些步骤。这些步骤背后的理由要么是隐含的(足以让我无法理解(,要么就是不存在。 Apache Flink专家/贡献者的解释会有所帮助。
最近在Flink邮件列表上有一个关于这个主题的讨论:
(主题名称:[DDISCUSS]每个作业模式的语义和实现(
https://lists.apache.org/thread.html/6c688a73b281d38670a74f05d63f2858f59da1f37bc7211640de7ca8@%3用户.flink.apache.org%3E
目前,所有来自flink CLI的作业提交都类似于Spark中的客户端模式。
未来可能会有类似于集群模式的选择加入选项(正如邮件列表上所示(,特别是由于Kubernetes集群中的flink部署数量迅速增加。