Flink 1.3 在 YARN 上运行单个作业 如何设置每个任务管理器的任务槽数



我正在 Yarn 上运行一个 flink 作业,如此处所述。

flink run -m yarn-cluster -yn 3 -ytm 12000

我可以使用上述参数-yn设置纱线节点/任务管理器的数量。但是,我想知道是否可以设置每个任务管理器的任务槽数。当我使用 parallelsim (-p( 参数时,它只设置整体并行度。任务槽的数量是通过将此值除以提供的任务管理器的数量来计算的。我尝试使用动态属性(-yD(参数,该参数应该"允许用户指定其他配置值",如下所示:

-yD -Dtaskmanager.numberOfTaskSlots=8

但这不会覆盖flink-conf.yaml中给出的值。 在 flink 上运行单个任务时,有没有办法指定每个任务管理器的任务槽数(除了更改配置文件(? 还有没有使用-yD参数哪些动态属性有效的文档?

你可以使用 yarn-session 的设置,这里以y为前缀,在 YARN 集群上提交 Flink 作业。例如命令,

flink run -m yarn-cluster -yn 5 -yjm 768 -ytm 1400 -ys 2 -yqu streamQ my_program.jar

将提交my_program.jarFlink 应用程序,其中包含5个容器、作业管理器的768m内存、1400m内存和任务管理器的2CPU 内核,每个都将在预定义的 YARN 队列streamQ上使用节点管理器的资源。有关其他重要信息,请参阅我对这篇文章的回答。

相关内容

  • 没有找到相关文章

最新更新