为什么Apache气流不是一个数据流解决方案



我知道批处理依赖于数据的收集,流处理依赖于连续的数据。

请用简单的话解释一下,为什么Apache气流不是一个数据流解决方案,而是一个批处理。

气流根本不是数据处理解决方案:流或批处理。气流是一个以编程方式编写、调度的平台。监控和workflows"

如果你想构建数据处理工作流,你应该把所有的计算委托给数据处理工具,比如Apache Spark。因此,气流在以流或批处理方式处理数据方面没有其自身的限制(以及机会)

但是您可能会注意到流工作流程更难以与气流协调。气流中的工作流被写成有向图:在一个语句完成后,执行移动到下一个语句。在流处理的情况下,没有"完成"时刻:所有进程连续并行地工作

总结。您可以使用气流来"协调"。流处理,但是你不会从使用它得到任何好处

相关内容

最新更新