比较Flink与Spark Streaming、Flink与Storm以及Storm与Heron有很多问题。
这个问题的根源在于Apache Flink和Twitter Heron都是真正的流处理框架(而不是像Spark Streaming那样的微批处理)。Storm去年已经被推特停用,他们使用的是Heron(这基本上是Storm重新设计的)。
Slim Baltagi在Flink和Flink vs Spark上做了精彩的演示:https://www.youtube.com/watch?v=G77m6Ou_kFA
Ilya Ganelin对各种流媒体框架的出色研究:https://www.youtube.com/watch?v=KkjhyBLupvs
关于Flink vs Storm的有趣想法:Flink和Storm之间的主要区别是什么?
但我还没有看到任何新的风暴/苍鹭与Apache Flink的比较。
这两个项目都很年轻,都支持使用以前编写的Storm应用程序和许多其他东西。Flink更适合Hadoop生态系统,Heron更适合基于Twitter的生态系统堆栈。
有什么想法吗?
参考文章中比较Apache Flink和Apache Storm的所有要点也适用于Twitter的Heron。Heron提供了与Storm完全相同类型的语义和功能。Heron实际上最好简单地理解为Storm的重新实现,它更符合Twitter的运营要求。
Heron,推特开发的流处理引擎,于2018年2月26日捐赠给Apache。根据推特的数据,在所有实验中,吞吐量都比Storm高10-14倍,同样,延迟比Storm的延迟低5-15倍。
除了吞吐量和延迟之外,它还提供
- 易于调试(每个任务都在进程级隔离中运行)
- 处理峰值和拥塞(使用背压机制)
- 与Storm完全向后兼容,这意味着只需要更改pom文件
https://blog.twitter.com/engineering/en_us/a/2015/flying-faster-with-twitter-heron.htmlhttps://apache.github.io/incubator-heron/