返回 Elasticsearch SQL 查询中的所有行

Question

我在Elasticsearch中有一个简单的SQL查询，我知道它返回的结果不到100行。如何一次获得所有这些结果(即，不使用滚动(？我尝试了limit n子句，但它在n小于或等于 10 时有效，但在n大于 10 时不起作用。

调用 Elasticsearch SQL API 的 Python 代码如下。

import requests
import json
url = 'http://10.204.61.127:9200/_xpack/sql'
headers = {
'Content-Type': 'application/json',
}
query = {
'query': '''
select
date_start,
sum(spend) as spend
from
some_index
where
campaign_id = 790
or
campaign_id = 490
group by
date_start
'''
}
response = requests.post(url, headers=headers, data=json.dumps(query))

上述查询返回游标 ID。我尝试将游标 ID 输入到同一个 SQL API 中，但它没有给我更多结果。

我还尝试使用 SQL 翻译 API 将上述 SQL 查询转换为本机 Elasticsearch 查询，并将其包装到以下 Python 代码中，但它也不起作用。我仍然只得到 10 行结果。

import requests
import json

url = 'http://10.204.61.127:9200/some_index/some_doc/_search'
headers = {
'Content-Type': 'application/json',
}
query = {
"size": 0,
"query": {
"bool": {
"should": [
{
"term": {
"campaign_id.keyword": {
"value": 790,
"boost": 1.0
}
}
},
{
"term": {
"campaign_id.keyword": {
"value": 490,
"boost": 1.0
}
}
}
],
"adjust_pure_negative": True,
"boost": 1.0
}
},
"_source": False,
"stored_fields": "_none_",
"aggregations": {
"groupby": {
"composite": {
"size": 1000,
"sources": [
{
"2735": {
"terms": {
"field": "date_start",
"missing_bucket": False,
"order": "asc"
}
}
}
]
},
"aggregations": {
"2768": {
"sum": {
"field": "spend"
}
}
}
}
}
}
response = requests.post(url, headers=headers, data=json.dumps(query)).json() 

Answer 1

POST _sql?format=json
{
"query": "SELECT field1, field2 FROM indexTableName ORDER BY field1",
"fetch_size": 10000
}

上面的查询将在响应中返回一个游标，需要在下一次调用中传递该游标。

POST _sql?format=json
{
"cursor": "g/W******lAAABBwA="
}

这类似于 Elasticsearch 中的普通滚动方法。

Answer 2

elasticsearch 有限，但如果你使用的是 Python，你可以使用 Elasticsearc-DSL

from elasticsearch_dsl import Search
q = Q('term', Frequency=self._frequency)
q = q & Q("range", **{'@timestamp': {"from": self._start, "to": self._end}})
Search().query(q).scan()

Answer 3

使用 elasticsearch-sql，LIMIT 100应该在传统查询 DSL 中转换为"size": 100。这将返回最多 100 个匹配结果。

鉴于此请求：

POST _xpack/sql/translate
{
"query":"SELECT FlightNum FROM flights LIMIT 100"
}

转换后的查询为：

{
"size": 100,
"_source": {
"includes": [
"FlightNum"
],
"excludes": []
},
"sort": [
{
"_doc": {
"order": "asc"
}
}
]
}

因此，从语法上讲，LIMIT N应该按照您的期望进行操作。至于为什么您没有看到更多结果，这可能是特定于您的索引、查询或数据的内容。

有一个设置index.max_result_window可以限制查询的大小，但它默认为 10K，并且还应该返回错误，而不仅仅是限制结果。