使用nodejs将庞大的json文件导入mongodb



我想做一个node.js脚本,通过我的mongodb .db和检查url是否与我的其他数据库中的url不匹配。截至目前,我有超过750k诈骗网站的json,我需要以某种方式导入到数据库。有人知道什么快速的方法吗?我试着:

for (var i = 0; i < files.length; i++) {
var file = files[i];
var link = require("./files/" + file);
var newLink = new rescamdb({
link: link,
createdAt: Date.now(),
});
newLink.save();
console.log(`
🔧 Added new link to database
`);
}

但是它不起作用,甚至不会创建数据库,然后在验证错误上失败。json文件不是mongodb准备好了,它看起来像这样:

[
"scamsite1.com",
"scamsite2.com",
"anotherscamsite.com",
"scamsite4.com",
...

将我的JSON转换为:

[
{"link":"somescamwebsite.com"},
...
]

,然后通过mongoDB Compass导入到mongoDB中

最新更新