我有一个集群:
- 1任务经理
- 1个独立作业/作业经理
- 配置:
taskmanager.numberOfTaskSlots: 1
如果我使用Flink PubSub源在作业上设置default.parallelism: 4
,那么在启动"作业集群"/taskmanager:时,我会一直收到这个错误
[analytics-job-cluster-7bd4586ccb-s5hmp job]2019-05-01 16:22:30888 INFO org.apache.flink.runtime.checkpoint.CheckpointCoordinator-检查点触发任务源:自定义源->进程->时间戳/水印->作业00000000000000000000000000000000000000的app_events(1/4)不处于RUNNING状态,而是处于SCHEDULED状态。正在中止检查点。
但是,如果我把同一个作业指向一堆文件,它就可以完美地工作。这是什么意思?
所以,问题是您需要基本上等于您的并行度的numberOfTaskSlots
。因此,在这种情况下,如果您只有一个TaskManager,而只有一个Task Slot Flink将无法正确启动作业,因为根本没有足够的插槽。如果您将给定TaskManager的numberOfTaskSlots
设置为等于并行度,则它应该能很好地工作。