从服务器 http 请求中执行 mongo map-reduce 的推荐方法是什么



我使用的是 REPLACE 输出类型,这意味着 MR 结果存储在集合中。

两个 http 请求在不同的线程中同时执行 MR - 这意味着我不能使用相同的输出集合名称,因此每个请求都会有一个集合,这可能会导致创建许多 MR 结果集合。

你如何处理这种情况?如何限制并发请求数?您是否保留 MR 结果集合以备查询重复?

简而言之,我很想知道其他人如何管理这些 MR 集合(如果有的话)。

我正在使用 mongo java 驱动程序 (2.7.3) 和 Restlet (2.0.10)

谢谢。

好吧,如果结果要多次使用,那么为每个map-reduce查询创建一个唯一的集合是有意义的,并且每当您需要答案时,都会从该集合中检索答案。

在服务器中放置一个标志,指示 MR 正在运行,可能会使您免于同时执行 MR 收集。如果 MR 作业是消耗资源的作业,则最好将 MR 的结果保存在某个位置,并在需要时检索它。

相关内容

  • 没有找到相关文章

最新更新