集群节点上的Flink作业分布



我们有4个作业在3个节点上运行,每个节点有4个插槽,

在Flink 1.3.2上,作业平均分布在每个节点上。升级到flink 1.5后,每个作业都在一个节点上运行(如果没有插槽,则会转移到另一个节点(

有没有办法回到平均分配?作业的负载不均匀,这导致一些节点比其他节点更难工作。

我从flink邮件列表中收到的答复回复:Flink 1.5作业分布在集群节点上

Hi Shachar,

Flink 1.5增加了资源弹性。这意味着Flink现在可以在集群管理框架上分配新容器比如Yarn或Mesos。由于这些变化(也适用于独立模式(,Flink不再为一组固定的TaskManagers,因为如果需要,它将启动新容器(不在独立模式下工作(。因此,系统很难决定是否分配属于单个作业的插槽跨多个TM。当你考虑到这一点时,它会变得更加困难像你这样的一些工作可能会从这样的策略中受益,而其他公司将从其插槽的同一位置中受益。它变得更加如果你想对多个作业进行wrt调度系统没有完全了解,因为他们按顺序提交。因此,Flink目前认为任何TaskManager都可以满足请求。

干杯,直到

相关内容

  • 没有找到相关文章

最新更新