我正在 Yarn 上运行一个 flink 作业,如此处所述。
flink run -m yarn-cluster -yn 3 -ytm 12000
我可以使用上述参数-yn
设置纱线节点/任务管理器的数量。但是,我想知道是否可以设置每个任务管理器的任务槽数。当我使用 parallelsim (-p
( 参数时,它只设置整体并行度。任务槽的数量是通过将此值除以提供的任务管理器的数量来计算的。我尝试使用动态属性(-yD
(参数,该参数应该"允许用户指定其他配置值",如下所示:
-yD -Dtaskmanager.numberOfTaskSlots=8
但这不会覆盖flink-conf.yaml
中给出的值。 在 flink 上运行单个任务时,有没有办法指定每个任务管理器的任务槽数(除了更改配置文件(? 还有没有使用-yD
参数哪些动态属性有效的文档?
你可以使用 yarn-session 的设置,这里以y
为前缀,在 YARN 集群上提交 Flink 作业。例如命令,
flink run -m yarn-cluster -yn 5 -yjm 768 -ytm 1400 -ys 2 -yqu streamQ my_program.jar
将提交my_program.jar
Flink 应用程序,其中包含5
个容器、作业管理器的768m
内存、1400m
内存和任务管理器的2
CPU 内核,每个都将在预定义的 YARN 队列streamQ
上使用节点管理器的资源。有关其他重要信息,请参阅我对这篇文章的回答。