在linux上索引大型数据集的最便宜方法(最好是使用sphinx)



我有一个包含1.5亿个产品的数据库,我想使用sphinx对这些产品进行索引,但只有大约2 GB的RAM,有没有任何可行的方法可以使用sphiny对所有这些数据进行索引,但是保持在2 GB以下?

我只需要索引产品名称、产品描述和品牌。虽然我确实有几个属性,但这些属性不需要搜索。

更改ondisk_dicthttp://sphinxsearch.com/docs/current.html#conf-ondisk dict

这样只加载少量数据。斯芬克斯根本不需要太多的记忆。

当您使用属性docinfo时,可以用来控制它们http://sphinxsearch.com/docs/current.html#conf-docinfo

此外,通过setLimit函数减少max_matches也应该减少运行时内存的使用。

查看以下内容:http://sphinxsearch.com/docs/current.html#conf-rt内存限制

最新更新