couchdb - 导入 json 文件



>我有一个包含json格式数据的文件。 数据很奇怪,因为这些行具有一组属性的不同子集,这些属性事先并不都知道(随着时间的推移,它们会逐渐增加)。 例如:

[{"firstName":"Joe","education":"highschool","sex":"male"},
 {"lastName":"Edwards","address":"ohio","sex":"male"},
{"favoriteSport":"cycling","bicycle":"raleigh","ownsBoat":"yes","ownsDog":"yes","ownsHouse":"yes"}]

文件中已经存在大量数据,因此我想将其导入 couchdb 而不是逐项输入数据。 我遵循了此处帖子中的程序,但是在创建数据库时,它是空的。 我使用过:

curl -X PUT -d @../Data/data.json http://127.0.0.1:5984/test_import

更新:由于我正在使用nodejs(新手),我想我会尝试使用"cradle"。 我的想法是将数据导入为数组,并使用"摇篮"的dbsave()批量加载。 但使用以下方法:

var fs = require('fs');
var cradle = require('cradle');
var data = fs.readFile( '../Data/data.json', function (err, data) {
  if (err) {
    throw err; 
  }
.
.
.
makeDB(bigdata,'test_import');  // where 'bigdata' is an array of json objects/couchdb 'documents'
});
function makeDB (p,filename) {
var db = new(cradle.Connection)().database(filename);
console.log(db);
db.save(p, function(err,res) {
if (err) {
    console.log(err);
} else {
    console.log('Success!');
}
});
};

后者似乎有效!! 数据库已创建并填充,但它确实会引发以下错误:

k:nodejsnode_modulescradlelibcradle.js:198
            return callback(body);
                   ^
TypeError: undefined is not a function
OR
k:nodejsnode_modulescradlelibcradle.js:201
        callback(null, self.options.raw ? body : new cradle.Response(body, res
        ^
TypeError: undefined is not a function
    at Request.cradle.Connection.request [as _callback] (k:nodejsnode_modulescradlelibcradle.
js:201:9)
    at Request.init.self.callback (k:nodejsnode_modulesrequestmain.js:120:22)
    at Request.EventEmitter.emit (events.js:91:17)
    at Request.<anonymous> (k:nodejsnode_modulesrequestmain.js:633:16)
    at Request.EventEmitter.emit (events.js:88:17)
    at IncomingMessage.Request.start.self.req.self.httpModule.request.buffer (k:nodejsnode_modul
esrequestmain.js:595:14)
    at IncomingMessage.EventEmitter.emit (events.js:115:20)
    at IncomingMessage._emitEnd (http.js:366:10)
    at HTTPParser.parserOnMessageComplete [as onMessageComplete] (http.js:149:23)
    at Socket.socketOnData [as ondata] (http.js:1366:20)

[已解决]

我的问题的答案是,是的,当然,couchdb 非常适合这种数据。 我发现使用 .js node 进行批量导入的最简单方法是使用 cradle(其创建者提供了问题的解决方案)。 前面的代码在对 makeDB 函数进行以下更改后没有错误:

//  Take the array of objects and create a couchdb database
function makeDB (data,filename) {
var db = new(cradle.Connection)().database(filename);
//console.log(db);
db.create(function(err){
    if (err) console.log(err); 
    });
db.save(data, function(err) {
    if (err) console.log(err);
    console.log(filename + ' is created.');
    });
};

最新更新