Storm DRPCTopology有一个内置队列吗?



我正在尝试设置一个风暴拓扑来从社交网络获取更新,处理它们并写入后端。我想过获取数据并使用kafka队列,让kafka从队列中读出数据。但是在阅读DRPCTopology时,看起来我只需要将数据发送到DRPC服务器,然后它处理转发到喷口。DRPC服务器有内置队列吗?所以对于我的用例,我可以用它来代替kafka spout吗?

问:DRPC服务器有内置队列吗?

是的,风暴自带的drpc服务器使用内部ConcurrentLinkedQueue

Q:那么对于我的用例,我可以用它来代替kafka spout吗?

只有当你期望相对较低的容量时,因为ConcurrentLinkedQueue将消耗内存,而无法像Kafka那样落在磁盘上。

最新更新