我有flink批处理作业。连续跑步的最佳方式是什么?(它需要在完成后重新启动,因为流作业可以提供新的数据)
如果作业完成了,我想立即重新启动。
- 无限循环和内部调用任务?
- 制作bash脚本并始终将作业推入jobmanager?(我认为这是一个很大的资源浪费)
谢谢
在一个类似的用例中,我们对同一个集合运行Flink job;我们周期性地触发新任务。[每日,每小时等]https://azkaban.github.io/可用于调度。这并不是你所说的。但是,一个接近的匹配可能足以解决您的用例。