Apache Flink vs Twitter Heron?



比较Flink与Spark Streaming、Flink与Storm以及Storm与Heron有很多问题。

这个问题的根源在于Apache Flink和Twitter Heron都是真正的流处理框架(而不是像Spark Streaming那样的微批处理)。Storm去年已经被推特停用,他们使用的是Heron(这基本上是Storm重新设计的)。

Slim Baltagi在Flink和Flink vs Spark上做了精彩的演示:https://www.youtube.com/watch?v=G77m6Ou_kFA

Ilya Ganelin对各种流媒体框架的出色研究:https://www.youtube.com/watch?v=KkjhyBLupvs

关于Flink vs Storm的有趣想法:Flink和Storm之间的主要区别是什么?

但我还没有看到任何新的风暴/苍鹭与Apache Flink的比较。

这两个项目都很年轻,都支持使用以前编写的Storm应用程序和许多其他东西。Flink更适合Hadoop生态系统,Heron更适合基于Twitter的生态系统堆栈。

有什么想法吗?

参考文章中比较Apache Flink和Apache Storm的所有要点也适用于Twitter的Heron。Heron提供了与Storm完全相同类型的语义和功能。Heron实际上最好简单地理解为Storm的重新实现,它更符合Twitter的运营要求。

Heron,推特开发的流处理引擎,于2018年2月26日捐赠给Apache。根据推特的数据,在所有实验中,吞吐量都比Storm高10-14倍,同样,延迟比Storm的延迟低5-15倍。

除了吞吐量和延迟之外,它还提供

  • 易于调试(每个任务都在进程级隔离中运行)
  • 处理峰值和拥塞(使用背压机制)
  • 与Storm完全向后兼容,这意味着只需要更改pom文件

https://blog.twitter.com/engineering/en_us/a/2015/flying-faster-with-twitter-heron.htmlhttps://apache.github.io/incubator-heron/

相关内容

  • 没有找到相关文章

最新更新