>我在MongoDB中的数据结构如下
{
"_id" : ObjectId("523aab00045624a385e5f549"),
"name" : "English Book 29",
"SKU" : 1000549081,
"price" : 249000,
"image" : null,
"category_id" : ObjectId("523a7802b50418baf38b4575"),
"category_name" : "English Book",
"details" : {
"Title" : "Title 549081",
"Binding" : 1,
"Author" : "Author 0",
"Publication data" : 0.5263832447608386,
"Publisher name" : "Publisher name 14",
"Number of page" : 90
}
}
书籍的装订有 2 个值:0 表示软绑定,1 表示硬绑定。我将地图归约写入每个值的统计信息。
var map = function()
{
for(var key in this.details)
{
if(key == 'Binding')
{
emit({name: key}, {
'data':
[
{
name: this.details[key],
count: 1
}
]
});
}
}
};
var reduce = function (key, values) {
var reduced = {};
for(var i in values)
{
var inter = values[i];
for(var j in inter.data)
{
if(typeof(reduced[inter.data[j].name]) != "undefined")
{
reduced[inter.data[j].name] += inter.data[j].count;
}
else
{
reduced[inter.data[j].name] = 1;
}
}
}
return reduced;
};
当我使用小数据(50 条记录)运行时,结果会准确返回。但是当我使用真实数据(192000 条记录)运行它时,结果返回不完全是。结果如下
{
"_id" : {
"name" : "Binding"
},
"value" : {
"0" : 50,
"1" : 50
}
}
我在映射/减少完成时检查了返回数据,结果如下
"counts" : {
"input" : 192000,
"emit" : 192000,
"reduce" : 1920,
"output" : 1
},
怎么了。欢迎任何建议,解释。谢谢和最好的问候,
在昨天研究了 Map/Reduce 之后,我意识到,"发出"一次发送 100 个元素,"Reduce"在这个数据集上执行。所以我上面的代码是错误的,因为它只在小数据集上"SUM"。下面是我的Map-Reduce新代码
var map = function ()
{
for(var key in this.details)
{
if(key == 'Binding')
{
var value = {};
value[this.details[key]] = 1;
emit(key, value);
}
}
}
var reduce = function (key, values)
{
var reduced = {};
for(var idx = 0; idx < values.length; idx++)
{
var inner = values[idx];
for (var j in inner)
{
if (typeof (reduced[j]) == 'undefined')
{
reduced[j] = 0;
}
reduced[j] += inner[j];
}
}
return reduced;
}
我在这里为遇到类似情况的任何人发布。感谢您的阅读。