Flink 1.8,并行性 > 1,源从不输出值



我有一个集群:

  • 1任务经理
  • 1个独立作业/作业经理
  • 配置:taskmanager.numberOfTaskSlots: 1

如果我使用Flink PubSub源在作业上设置default.parallelism: 4,那么在启动"作业集群"/taskmanager:时,我会一直收到这个错误

[analytics-job-cluster-7bd4586ccb-s5hmp job]2019-05-01 16:22:30888 INFO org.apache.flink.runtime.checkpoint.CheckpointCoordinator-检查点触发任务源:自定义源->进程->时间戳/水印->作业00000000000000000000000000000000000000的app_events(1/4)不处于RUNNING状态,而是处于SCHEDULED状态。正在中止检查点。

但是,如果我把同一个作业指向一堆文件,它就可以完美地工作。这是什么意思?

所以,问题是您需要基本上等于您的并行度的numberOfTaskSlots。因此,在这种情况下,如果您只有一个TaskManager,而只有一个Task Slot Flink将无法正确启动作业,因为根本没有足够的插槽。如果您将给定TaskManager的numberOfTaskSlots设置为等于并行度,则它应该能很好地工作。

相关内容

  • 没有找到相关文章

最新更新