在整个集合的字符串字段中查找最常用的单词

Question

假设我有一个类似于以下内容的Mongo集合：

[
  { "foo": "bar baz boo" },
  { "foo": "bar baz" },
  { "foo": "boo baz" }
]

是否可以确定哪些单词最常出现在foo字段中（最好是计数）？

例如，我喜欢这样的结果集：

[
  { "baz" : 3 },
  { "boo" : 2 },
  { "bar" : 2 }
]

Answer 1

最近关闭了一个关于在聚合框架的$project阶段中使用的$split运算符的JIRA问题
有了这个，你就可以创建一个像这样的管道

db.yourColl.aggregate([
    {
        $project: {
            words: { $split: ["$foo", " "] }
        }
    },
    {
        $unwind: {
            path: "$words"
        }
    },
    {
        $group: {
            _id: "$words",
            count: { $sum: 1 }
        }
    }
])

结果看起来像这样

/* 1 */
{
    "_id" : "baz",
    "count" : 3.0
}
/* 2 */
{
    "_id" : "boo",
    "count" : 2.0
}
/* 3 */
{
    "_id" : "bar",
    "count" : 2.0
}

Answer 2

在MongoDB 3.4中，最好的方法是使用$split运算符将字符串拆分为子字符串数组，如前所述，因为我们需要在管道中$unwind数组，所以我们需要在子管道中使用$facet运算符来实现最大效率。

db.collection.aggregate([
    { "$facet": { 
        "results": [ 
            { "$project": { 
                "values": { "$split": [ "$foo", " " ] }
            }}, 
            { "$unwind": "$values" }, 
            { "$group": { 
                "_id": "$values", 
                "count": { "$sum": 1 } 
            }} 
        ]
    }}
])

其产生：

{
    "results" : [
        {
            "_id" : "boo",
            "count" : 2
       },
       {
            "_id" : "baz",
            "count" : 3
       },
       {
            "_id" : "bar",
            "count" : 2
       }
   ]
}

---

从MongoDB 3.2向后，唯一的方法是使用mapReduce。

var reduceFunction = function(key, value) { 
    var results = {}; 
    for ( var items of Array.concat(value)) { 
        for (var item of items) {
            results[item] = results[item] ? results[item] + 1 : 1;
        } 
    }; 
    return results; 
}
db.collection.mapReduce(
    function() { emit(null, this.foo.split(" ")); }, 
    reduceFunction, 
    { "out": { "inline": 1 } } 
)

返回：

{
    "results" : [
        {
            "_id" : null,
            "value" : {
                "bar" : 2,
                "baz" : 3,
                "boo" : 2
            }
        }
    ],
    "timeMillis" : 30,
    "counts" : {
        "input" : 3,
        "emit" : 3,
        "reduce" : 1,
        "output" : 1
    },
    "ok" : 1
}

---

如果MongoDB版本不支持for...of语句，则应考虑在reduce函数中使用.forEach()方法。