MongoDB中的有效中值计算

Question

我们有一个名为analytics的Mongo集合，它通过cookie id跟踪用户访问。我们希望在用户访问不同页面时计算几个变量的中位数。

Mongo还没有计算中位数的内部方法。我使用了下面的方法来确定它，但恐怕还有一种更有效的方法，因为我对JS还很陌生。如有任何意见，我们将不胜感激。

// Saves the JS function for calculating the Median. Makes it accessible to the Reducer.
db.system.js.save({_id: "myMedianValue",
    value: function (sortedArray) {
    var m = 0.0;
    if (sortedArray.length % 2 === 0) {
        //Even numbered array, average the middle two values
        idx2 = sortedArray.length / 2;
        idx1 = idx2 - 1;
        m = (sortedArray[idx1] + sortedArray[idx2]) / 2;
    } else {
        //Odd numbered array, take the middle value
        idx = Math.floor(sortedArray.length/2);
        m = sortedArray[idx];
    }
        return m
    }
});

var mapFunction = function () {
    key = this.cookieId;
    value = {
        // If there is only 1 view it will look like this
        // If there are multiple it gets passed to the reduceFunction
        medianVar1: this.Var1,
        medianVar2: this.Var2,
        viewCount: 1
    };
    emit(key, value);
    };
var reduceFunction = function(keyCookieId, valueDicts) {
    Var1Array = Array();
    Var2Array = Array();
    views = 0;
    for (var idx = 0; idx < valueDicts.length; idx++) {
        Var1Array.push(valueDicts[idx].medianVar1);
        Var2Array.push(valueDicts[idx].medianVar2);
        views += valueDicts[idx].viewCount;
    }

    reducedDict = {
        medianVar1: myMedianValue(Var1Array.sort(function(a, b){return a-b})),
        medianVar2: myMedianValue(Var2Array.sort(function(a, b){return a-b})),
        viewCount: views
    };
    return reducedDict
    };

db.analytics.mapReduce(mapFunction,
                       reduceFunction,
                       { out: "analytics_medians",
                         query: {Var1: {$exists:true},
                                 Var2: {$exists:true}
                                 }}
                                 )

Answer 1

获取中值的简单方法是对字段进行索引，然后在结果进行到一半时跳到该值。

> db.test.drop()
> db.test.insert([
    { "_id" : 0, "value" : 23 },
    { "_id" : 1, "value" : 45 },
    { "_id" : 2, "value" : 18 },
    { "_id" : 3, "value" : 94 },
    { "_id" : 4, "value" : 52 },
])
> db.test.ensureIndex({ "value" : 1 })
> var get_median = function() {
    var T = db.test.count()    // may want { "value" : { "$exists" : true } } if some fields may be missing the value field
    return db.test.find({}, { "_id" : 0, "value" : 1 }).sort({ "value" : 1 }).skip(Math.floor(T / 2)).limit(1).toArray()[0].value    // may want to adjust skip this a bit depending on how you compute median e.g. in case of even T
}
> get_median()
45

由于跳过，这并不令人惊讶，但至少查询将被索引覆盖。对于更新中位数，你可以更喜欢。当新文档进入或文档的value更新时，可以将其value与中值进行比较。如果新的value更高，您需要通过从当前中位数文档中找到下一个最高的value来调整中位数（或者取平均值，或者根据您的规则正确计算新的中位数）

> db.test.find({ "value" : { "$gt" : median } }, { "_id" : 0, "value" : 1 }).sort({ "value" : 1 }).limit(1)

如果新的value小于当前的中值，你也可以做类似的事情。这会阻碍您在更新过程中的写入，并且有各种情况需要考虑（您如何允许自己同时更新多个文档？更新具有中值的文档？将value小于中值的文档更新为value大于中值的文档吗？），因此，根据跳过过程偶尔更新可能会更好。

Answer 2

我们最终更新了每个页面请求的median，而不是用cron作业或其他东西批量更新。我们有一个Nodeneneneba API，它使用Mongo的聚合框架来匹配/排序用户的结果。结果数组然后传递给Node中的中值函数。然后将结果写回该用户的Mongo。对此不是很满意，但它似乎没有锁定问题，并且表现良好。