如何定期安排截面处理



i有一个Java应用程序,该应用程序通过查询数据库中的表并将其馈送到Kafka主题中,对获得的批处理进行了flink批处理处理。我将如何定期进行计划。是否有flink调度程序?例如,我的Java应用程序应继续在后台运行,Flink Scheduler应定期从数据库中查询表,然后flink Batch Process IT并将其输入Kafka(Flink Batch处理和进食Kafka已经完成了我的应用程序的一部分)。如果有人对此有指示,请提供帮助。

flink不提供作业调度程序。

您是否考虑过使用连续运行的Flink DataStream应用程序实现用例?您可以实现定期查询数据库的SourceFunction

连续流媒体应用程序具有更少的运动部件的好处(没有调度程序,如果出现问题,则不会处理故障),并且在"批处理"的边界上具有一致的视图。不足的一面是,这项工作总是在消耗资源(Flink无法在低负载下自动缩放)。

相关内容

  • 没有找到相关文章

最新更新