问题在创建另一个集合从一个mongodb查询的结果在节点

Question

我试图使用nodejs在mongodb中创建另一个查询结果的集合

如果我只有几个记录，代码工作得很好。但如果有大的记录，则不工作。

误差

[Error: Document exceeds maximum allowed bson size of 16777216 bytes]

MongoClient.connect(MONGODB_URI, function (err, database) {
    if (err) throw err;
    coll = database.collection("smmc_queue");
    coll.insert({
        "startTime": moment().format("DD-MM-YYYY, h:mm:ss a"),
        "caseName": req.body.caseName,
        "author": req.session.user,
        "jobType": 'Query',
        "status": 'In progress',
        "searchDescription": searchDescription,
        "query": searchCondition,
        "sort": sortCondition
    }, function (err, sucessDoc) {
        res.redirect(302, '/queryStatus');
        MongoClient.connect(MONGODB_URI, function (err, database) {
            if (err) throw err;
            collection = database.collection(req.body.caseName);
            collection.find(searchObj, sortObj).toArray(function (err, doc) {
                var ncn = 'query_' + sucessDoc[0]._id.toString();
                if (!err) {
                    coll.update({
                        "_id": sucessDoc[0]._id
                    }, {
                        $set: {
                            "endTime": moment().format("DD-MM-YYYY, h:mm:ss a"),
                            status: "Completed",
                        }
                    }, {
                        upsert: true,
                        multi: true
                    }, function (err, result) {});
                    resultCollection = database.collection(ncn);
                    console.log(typeof doc)
                    console.log(doc.length)
                    resultCollection.insert(doc, function (err, res) {
                        console.log(err);
                    });
                } else {
                    coll.update({
                        "_id": sucessDoc[0]._id
                    }, {
                        $set: {
                            "endTime": moment().format("DD-MM-YYYY, h:mm:ss a"),
                            status: "Completed",
                            "result": err
                        }
                    }, {
                        upsert: true,
                        multi: true
                    }, function (err, result) {});
                }
            });
        });
    });
})

<<p> 控制台样本/strong>

Search Query : { CARDNO: 821 }
typeof doc : object
doc.length : 756
err (insert to resultCollection) : null
Search Query : { IODATE: { '$gt': Mon Apr 02 2012 00:00:00 GMT+0530 (IST) } }
typeof doc : object
doc.length : 374010
err (insert to resultCollection) : [Error: Document exceeds maximum allowed bson size of 16777216 bytes]

我哪里做错了?

Answer 1

这失败的原因是因为当你插入你的文档值是一个数组，你报告的"长度"。

虽然文档的数组可以发送给插入，但问题不是"单个"文档的大小，而是整个插入。所以你打破了最大BSON大小，因为要插入的"请求"大于最大(16MB)。

你需要做的是打破这个，一次尝试500的数量。

var last = 0;
for ( var i=0; i < doc.length; i+= 500 ) {
    resultCollection.insert( doc.slice(last, i) );
    last = i;
}
resultCollection.insert( doc.slice(last, doc.length) );

或者可能比这更好。

但一般来说，将数组拆分。每个请求只能达到限制(16MB) 。