有没有一种方法可以通过node将大约600-700gb的json轻松导入ElasticSearch

Question

我一直在尝试搜索，但似乎找不到一个能解决内存限制和OOM问题的解决方案，我目前正在为我的工作开发一个搜索引擎，作为其中的一部分，我们希望为Purple团队的活动提供一个信誉良好的搜索引擎。

json的格式是这样的，

[{
"email": "[e-mail]",
"password": "123",
}]

我们有大约600-700gb的记录要导入到ElasticSearch中，我曾尝试将数据拆分并在节点中对其进行循环，但我一直遇到资源问题。

Answer 1

awk'NR>=起始行号&amp；NR<=endlinenumber'/path/to/file

在exec中，然后在循环中递增startline/endline。您可以在bash脚本中执行此循环，然后简单地调用node-js脚本并从stdin读取。