MongoDB中的共享mapreduce结果集合



我有几个正在运行mapreduce的Mongoid模型,我想将统一的结果存储在一个daily_stats集合中。我的map和reduce函数适用于所有3个模型,但即使通过collection.mapreduce(map, reduce, {:out => "daily_stats", :raw => true})输出,后续mapreduce操作的结果也会覆盖之前的结果,即使它们没有重叠键:

{'_id': "2012-06-01", 'values': {photos: 10}}
{'_id': "2012-06-02", 'values': {photos: 10}}

当后续传递返回时,photos的值将被抛出:

{'_id': "2012-06-01", 'values': {comments: 1}}
{'_id': "2012-06-02", 'values': {comments: 6}}

我也尝试与collection.mapreduce(map, reduce, {:out => {:merge => "daily_stats"}, :raw => true})合并,但这似乎也不起作用。

有什么想法吗?

更新

每个模型的map和reduce函数是这样的:

地图:

function() {
    day = Date.UTC(this.created_at.getFullYear(), this.created_at.getMonth(), this.created_at.getDate());
    emit(day, {users: 1});
  };

减少:函数(键,值) { 变量 users_added_count = 0;

    values.forEach(function(v) {
      users_added_count += parseInt(v['users']) || 0;
    });
    return {users: users_added_count};
  }

下面是有关生成的架构的一些额外信息:

{ "_id" : 1337040000000,
 "value" : {
  "apartments" : 280,
  "price" : 1003653,
  "photos" : 83,
  "comments" : 0 } 
 }

如果您查看 map reduce (http://www.mongodb.org/display/DOCS/MapReduce#MapReduce-Outputoptions) 的 MongoDB 文档,您会发现默认情况下,MR 输出集合会替换任何具有相同名称的现有集合。"合并"将新数据添加到旧的输出集合中,但使用相同的键覆盖文档。

看起来你的钥匙是日期?如果

{'_id': "2012-06-01", 'values': {photos: 10}}

{'_id': "2012-06-01", 'values': {comments: 1}}

具有相同的键,运行MR时,第二个文档将替换第一个文档。 您要么需要指定一个更唯一的键,要么需要有多个输出集合(也许一个用于照片,一个用于评论?

您可以使用哈希键发出,使其在您的模型中独一无二

emit({day: day, type: '<model class name>'}, 1);

相关内容

  • 没有找到相关文章

最新更新