我有以下设置:
Installation type k8s: 1.18
Flink version: 1.12
1 Job Manager
2 Task Manager
在任务经理的flink-conf.yaml
flink-conf.yaml: |
state.backend: rocksdb
blob.server.port: 6124
jobmanager.rpc.port: 6123
parallelism.default: 2
queryable-state.proxy.ports: 6125
taskmanager.numberOfTaskSlots: 2
taskmanager.rpc.port: 6122
jobmanager.memory.process.size: 2900m
taskmanager.memory.process.size: 2900m
jobmanager.web.address: 0.0.0.0
rest.address: 0.0.0.0
rest.bind-address: 0.0.0.0
在岗位经理的面前
flink-conf.yaml: |
state.backend: rocksdb
blob.server.port: 6124
jobmanager.rpc.port: 6123
parallelism.default: 2
queryable-state.proxy.ports: 6125
taskmanager.rpc.port: 6122
jobmanager.memory.process.size: 2900m
taskmanager.memory.process.size: 2900m
jobmanager.web.address: 0.0.0.0
rest.address: 0.0.0.0
rest.bind-address: 0.0.0.0
rest.port: 8081
使用上述配置,即使事件数量增加到极端水平,也只有一个任务管理器处于活动状态,即获得流量,而另一个任务管理员保持空闲。
如果我遗漏了什么,请提出建议?
您已经将并行度设置为2,并为每个任务管理器提供2个插槽。因此,单个任务管理器可以提供所请求的并行性,这是默认情况下会发生的情况。
如果你想让调度程序表现得不同,你可以设置
cluster.evenly-spread-out-slots: true
或者可以将CCD_ 1减少为1。