Bluemix Kafka streams



最新版本的IBM Message Bus是否支持Kafka Streams(在这里描述:http://www.confluent.io/blog/introducing-kafka-streams-stream-processing-made-simple/)。有关于如何做到这一点的例子/样本吗?如果是,这可以用node.js完成吗?

我想做的是

  1. 将数据从源数据库(Cloudant)流到Kafka流(Bluemix - BETA服务中存在连接器服务)

  2. 使用Kafka Streams聚合数据(摘要、计数等)

  3. 一个Web Dashboard前端应用程序(Node.JS, D3.JS)消耗流并实时更新Dashboard。

谢谢

你可以使用node.js发布和订阅Kafka(又名IBM MessageHub),你可以在各种仪表板中可视化Kafka数据。最近我一直在使用Node-Red以及Node-Red dashboard和Node-Red -contrib-web-worldmap,效果不错。

来自nodejs应用程序的Pub/sub可以通过Confluent REST代理(IBM MessageHub使用)或通过本地node.js客户端(如暴雪在librdkafka上编写的客户端)完成(参见https://github.com/blizzard/node-rdkafka)。Confluent编写了一些nodejs包装器函数,以便更容易地使用REST代理(参见https://github.com/confluentinc/kafka-rest-node)

就Kafka Streams而言,目前支持的主要语言是Java和Scala。你可以将Javascript中的节点客户端与Java中的Streams应用程序混合使用,没有任何问题。Kafka Streams只是作为一个Java库实现的,所以你的流应用程序肯定会在Bluemix的虚拟机或容器中运行,它们不需要任何额外的集群管理器或第三方基础设施。

更新:IBM宣布MessageHub现在支持Kafka Streams

https://developer.ibm.com/messaging/2017/06/28/messagehub-now-runs-kafka-0-10-2-1-supports-streams/

相关内容

  • 没有找到相关文章

最新更新