从另一个 solr 导入数据的速度非常慢



我正在使用SolrEntityProcessor从另一个solr导入数据。它正在工作,但速度只有 30 个文档/秒,低于我从 SQL 服务器导入的重量(7000 个文档/秒)。

我想知道我是否错过了什么,是否有任何方法可以提高速度。

关于我的溶胶云的一点信息。我在三个不同的服务器上有 3 个分片,它们都在同一个域中。

提前谢谢。

引用自

SolrEntityProcessor 变得越来越慢

SolrEntityProcessor适用于少量数据,但对于如此大的索引没有用。问题是搜索结果中的深度分页成本很高。随着查询的"开始"值的增加,查询的成本也会增加。重新索引数据会好得多。

要解决此问题,请执行以下操作:

处理此问题的常用方法是筛选一个值 将返回较少的结果 每个查询,作为creation_date字段,并且每个 查询更改此字段范围。对于您可能需要的数据导入用例 生成数据导入.xml具有不同的实体,每个实体用于 另一个creation_date范围。因此不需要深度分页。

最新更新