配置Lucene索引作者,控制片段形成(SetRambuffersizemb)



如何设置参数-SetRambuffersizemb?取决于机器的RAM大小吗?还是需要索引的数据大小?还是其他参数?有人可以建议一种决定setRambuffersizemb的价值的方法。

所以,我们在Lucene Javadoc中对此参数有什么:

确定可用于缓冲的RAM量文档和删除在将其冲洗到目录之前。通常,为了更快的索引性能,最好用RAM冲洗用法而不是文档计数和使用与您一样大的RAM缓冲区能。设置此设置时,作者会在缓冲时冲洗文档和删除使用此大量RAM。

最大RAM限制固有地由可用的JVMS确定记忆。但是,索引作者会话可以大大消费比给定的RAM限制的内存量,因为此限制只是一个指示器何时将内存居民文档冲洗到目录。冲洗可能会同时发生,而其他线程则添加文件给作者。对于应用稳定性JVM中的内存应明显大于RAM缓冲区用于索引。

默认情况下,Lucene使用16 MB作为此参数(这是我的指示,您应该没有那么多的大参数来具有良好的索引速度)。我建议您通过将其设置为500 MB来调整此参数,并检查系统的表现如何。如果您会崩溃,则可以尝试一些较小的值,例如200 MB等。直到您的系统稳定为止。

是的,正如它在Javadoc中所述,此参数取决于JVM堆,但是对于Python,我认为它可以在没有任何限制的情况下分配内存。

相关内容

  • 没有找到相关文章

最新更新