布尔字段上的筛选器会增加延迟和CPU



我正在使用AWS ElasticSearch服务(1.5.2),每秒收到100多个请求,没有出现问题。

几乎每个查询都有地理过滤器、全文过滤器、整数过滤器。。。但我有一个问题,多添加一个简单的过滤器;布尔项过滤器。

{
  "from" : 0,
  "size" : 10,
  "query" : {
    "filtered" : {
      "query" : {
        "match_all" : { }
      },
      "filter" : {
        "and" : {
          "filters" : [ {
            "bool" : {
              "must" : [ {
                "terms" : {
                  "my_boolean_field" : [ false ]
                }
              }, 
              {
                "range" : {
                  "_timestamp" : {
                    "from" : null,
                    "to" : "2016-05-04T15:12:00Z",
                    "include_lower" : true,
                    "include_upper" : false
                  }
                }
              } ]
            }
          }, {
            "geo_distance" : {
              "rounded_location" : [ -8.42, 42.24 ],
              "distance" : "300000m",
              "distance_type" : "plane",
              "optimize_bbox" : "indexed"
            }
          } ]
        }
      }
    }
  },
  "sort" : [ {
    "_geo_distance" : {
      "rounded_location" : [ {
        "lat" : 42.24,
        "lon" : -8.42
      } ],
      "unit" : "m"
    }
  }, {
    "date" : {
      "order" : "desc"
    }
  }, {
    "price" : {
      "order" : "asc"
    }
  } ]
}

添加布尔过滤器后,ElasticSearch所有节点的CPU从10%增加到30%,在10-15分钟内,平均延迟从20增加到400ms,一段时间后,延迟恢复到正常值,但CPU没有。

该布尔字段映射正确并且可搜索。。。有人暗示过这个问题吗?(由于我使用的是官方Java库,Query是用"terms"而不是"term"组成的)。

最后,我无法解决像这里描述的那样执行查询的问题。。。

我解决了这个问题,根据相关字段的TRUE/FALSE值,创建了两种不同的文档类型。

使用这种方法,不会增加CPU,也不会出现延迟问题。。。由于ElasticSearch可以一次搜索多个文档类型,这种分离不会给我的应用程序代码带来重大问题;)

所以现在,我在这两种情况下都执行相同的查询,但只更改文档类型目标:

POST /my_index/doc_type_with_true_value/_search
POST /my_index/doc_type_with_false_value/_search
{
  "from" : 0,
  "size" : 10,
  "query" : {
    "filtered" : {
      "query" : {
        "match_all" : { }
      },
      "filter" : {
        "and" : {
          "filters" : [ {
            "bool" : {
              "must" : [ {
                "range" : {
                  "_timestamp" : {
                    "from" : null,
                    "to" : "2016-05-04T15:12:00Z",
                    "include_lower" : true,
                    "include_upper" : false
                  }
                }
              } ]
            }
          }, {
            "geo_distance" : {
              "rounded_location" : [ -8.42, 42.24 ],
              "distance" : "300000m",
              "distance_type" : "plane",
              "optimize_bbox" : "indexed"
            }
          } ]
        }
      }
    }
  },
  "sort" : [ {
    "_geo_distance" : {
      "rounded_location" : [ {
        "lat" : 42.24,
        "lon" : -8.42
      } ],
      "unit" : "m"
    }
  }, {
    "date" : {
      "order" : "desc"
    }
  }, {
    "price" : {
      "order" : "asc"
    }
  } ]
}

最新更新