我正在寻找。net分布式map/reduce框架。我打算将其用于实时数据查询，并在多个节点上并行处理查询。我目前使用WCF的web层和应用程序层之间的通信。
例如，如果我有5个节点的内存数据不足。如果我向5个节点传递一个过滤器。过滤器在节点拥有的数据块上执行，结果被缩减回最终答案。
只是想知道是否已经有一个框架可以映射工作并减少结果。我看起来更像是风暴的光轮(Twitter实时地图/减少)。不能使用灵光，因为有很多并发症。而且Zookeeper的开销太大了。
我试图实现以下使用框架1)将作业(主要是发送到所有可用节点的请求)映射到可用节点并减少结果。2)在故障转移中将作业映射到新节点。3)管理集群。(如果一个节点宕机，将其从可用服务器列表中删除)
数据将在内存中，所以我不需要分布式文件系统。一个。net与WCF作为通信下面将是理想的，但如果有其他框架(任何语言)请让我知道。
任何帮助(框架，代码项目，研究论文，实际代码:))将不胜感激。
不确定你对nimbus/zookeeper的评论是什么意思，因为这些是管理组件。
Storm听起来确实适合你的用例，但是Hazelcast等其他用例也是如此。我需要更多关于你需求的信息，看看哪个解决方案可能是合适的。
我想其中一个重要的问题是你所说的实时是什么意思。如果您只需要较短的响应时间，并且需要处理大量数据，那么Hazelcast可能更好。如果你有非结构化的数据，你必须解析/处理并快速提供给用户，那么Storm可能更适合你。