Flink:所有流量都流向一个任务管理器(在具有1个作业管理器+2个任务管理者的集群中)



我有以下设置:

Installation type k8s: 1.18
Flink version: 1.12
1 Job Manager
2 Task Manager

在任务经理的flink-conf.yaml

flink-conf.yaml: |
state.backend: rocksdb
blob.server.port: 6124
jobmanager.rpc.port: 6123
parallelism.default: 2
queryable-state.proxy.ports: 6125
taskmanager.numberOfTaskSlots: 2
taskmanager.rpc.port: 6122
jobmanager.memory.process.size: 2900m
taskmanager.memory.process.size: 2900m
jobmanager.web.address: 0.0.0.0
rest.address: 0.0.0.0
rest.bind-address: 0.0.0.0

在岗位经理的面前

flink-conf.yaml: |
state.backend: rocksdb
blob.server.port: 6124
jobmanager.rpc.port: 6123
parallelism.default: 2
queryable-state.proxy.ports: 6125
taskmanager.rpc.port: 6122
jobmanager.memory.process.size: 2900m
taskmanager.memory.process.size: 2900m
jobmanager.web.address: 0.0.0.0
rest.address: 0.0.0.0
rest.bind-address: 0.0.0.0
rest.port: 8081

使用上述配置,即使事件数量增加到极端水平,也只有一个任务管理器处于活动状态,即获得流量,而另一个任务管理员保持空闲。

如果我遗漏了什么,请提出建议?

您已经将并行度设置为2,并为每个任务管理器提供2个插槽。因此,单个任务管理器可以提供所请求的并行性,这是默认情况下会发生的情况。

如果你想让调度程序表现得不同,你可以设置

cluster.evenly-spread-out-slots: true

或者可以将CCD_ 1减少为1。

相关内容

  • 没有找到相关文章

最新更新