Spark,Akka,Storm Or RxJava



我有一个用例,我得到10K到15k消息/秒,有时也可能少于5K,我现在把这些消息推到RabbitMQ中,我应该解析这些消息,在上面运行一些正则,并做一些排序聚合和运行一些统计。由于存在一些业务约束,我的产品(数据管道)将部署在单个机器中。已经探索了Spark Akka Storm和RxJava,你能给我一些建议吗?但我不想在普通Java中这样做,因为这样我必须处理所有的线程等。

根据我的经验,我会选择Akka。您可以创建不同的参与者池,以便在不同的消息上并发地执行某些任务。您还可以利用akka-camel的功率,使RabbitMQ用户使用RabbitMQ Camel Component

你也许可以用Storm做同样的事情,但我个人没有那么多的经验来推荐它。

我不会选择Apache Spark,因为您需要使用Apache Spark Streaming,并且您需要了解如何正确配置缓冲窗口。

相关内容

  • 没有找到相关文章

最新更新