Flink作业-连续运行与取消/启动



根据需要暂停或重新启动Flink作业与持续运行它相比,计算资源的好处是什么?这适用于每天都有新文件到达并在一小时内被吸收的用例。这些工作现在正在持续运行。但我想知道围绕此类用例的任何最佳实践,以便在迁移到云时优化计算。

如果你要在云中运行,那么根据需要(每天一次(旋转Flink集群来批量处理当天的输入文件显然会为你省钱,而且(可能(与运行真正的流式作业相比,操作起来更容易。

这适用于每天都有新文件到达并在一小时内被接收的用例。

考虑到这种情况,批处理执行模式比流式执行模式更好。

流执行模式最适合实时计算、监控、实时推荐等场景。批执行模式最适用于一次或每天处理数据等场景。

此外,Flink基于输入流有界的条件,对批处理执行模式进行了一些优化。

要启用批处理执行模式,您可以在官方文档中查看更多详细信息:https://ci.apache.org/projects/flink/flink-docs-master/docs/dev/datastream/execution_mode/

最新更新