使用批量处理器'in-memory'索引时丢失弹性搜索数据



我生成了400万个文档,并使用批量处理器保存它们。当我将index。store。type设置为内存时,我得到了一些奇怪的npe,它通过了,但最终,有大约200万个文档被索引了。我尝试每批插入800个文档(非常小的文档,几个kbs), 3个线程,1gb堆。使用相同的代码,将index.store.type设置为simplefs,用4个线程插入3k个文档/批,一切都很顺利(当然,更大的设置也不适合"内存"),最终结果是预期的400万个索引文档。是否有任何额外的设置,我应该设置,使其与"内存"设置工作?我有1个节点,5个碎片,1个副本

如果您在内存中存储只有一个节点,您需要副本吗?这可能会在同一服务器上产生2个副本。

我建议你添加额外的节点来扩展负载,并利用你正在使用的5个碎片,否则碎片是毫无意义的,尽管你以后不能真正添加它们。

5KB * 400万= 20GB。你没有说你有多少内存,所以很难说你所有的文档是否能在所有额外的索引数据被添加到顶部后,甚至适合内存。

最新更新