查询大型弹性搜索索引超时

Question

我使用非常大的大小查询了一个大索引，因为我想检索大索引中的每个匹配文档，但很长一段时间后我超时了。没有返回任何结果。有没有其他方法可以在不超时的情况下获取所有数据？我的查询：

{
"size": 90000000,
"query": { 
    "filtered": {"query": {"match_all":{}},"filter":{"term": {"isbn": 475869}}
    }
  }
}

Answer 1

如果需要检索大量数据，应该使用滚动。

首先，使用您的查询启动滚动：

curl -XGET 'localhost:9200/your_index/your_type/_search?scroll=1m' -d '{
    "size": 5000,
    "query": {
        "term" : {
            "isbn" : "475869"
        }
    }
}'

然后，您将在响应中获得前5000个文档以及一个_scroll_id令牌，您可以使用它来执行后续请求。

然后，您可以使用上一个响应中的scroll_id令牌重复执行下一个请求，以获得下一批5000个文档，直到不再得到结果为止。

curl -XGET  'localhost:9200/_search/scroll' -d '{
    "scroll" : "1m", 
    "scroll_id" : "c2Nhbjs2OzM0NDg1ODpzRlBLc0FXNlNyNm5JWUc1" 
}'

由于您使用的是Jest，因此可以使用SearchScroll类。请在测试用例中查看如何使用该类。