弹性搜索字段限制超过 1000 个

Question

有人可以帮忙吗？我需要修复此错误，以便可以将 S3 中的 CloudTrail 日志传送到 Logstash ES 并在 Kibana 中查看。无法弄清楚如何将字段限制提高到更高的水平。我的配置看起来像

input {
s3 {
bucket => "sample-s3bucket"
region => "eu-west-1"
type => "cloudtrail"
codec => cloudtrail {}
sincedb_path => "/tmp/logstash/cloudtrail"
exclude_pattern => "/CloudTrail-Digest/"
interval => 300
}
}
filter {
if [type] == "cloudtrail" {
json {
source => "message"
}
geoip {
source => "sourceIPAddress"
target => "geoip"
add_tag => ["cloudtrail-geoip"]
}
}
}
output {
elasticsearch {
hosts => "coordinate_node:9200"
index => 'cloudtrail-%{+YYYY.MM.dd}'
}
stdout {
codec => rubydebug
}
}

这是我在我的 Logstash 机器上看到的关于limit

2018-10-04T17：49：49,883][警告][logstash.outputs.elasticsearch] 无法将事件索引到 Elasticsearch。{：status=>400

， ：action=>["index"， {：_id=>nil， ：_index=>"CloudTrail-2018.09.27"， ：_type=>"doc"， ：_routing=>nil}， #]， ：response=>{"index"=>{"_index"=>"cloudtrail-2018.09.27"， "_type"=>"doc"， "_id"=>"lrMzQGYBOny1_iySNW6G"， "status"=>400， "error"=>{"type"=>"illegal_argument_exception"， "reason"=>"已超出索引 [cloudtrail-2018.09.27] 中总字段 [1000] 的限制"}}}

提前致谢

Answer 1

1. 您必须在集群上设置索引模板。

您可以使用以下模板为添加到集群的所有索引设置设置。通过 logstash 编制索引后，下面的模板会将所有创建的索引的字段限制设置为 2000。

PUT /_template/Global
{
"index_patterns" : ["*"],
"order" : 0,
"settings" : {
"index.mapping.total_fields.limit" : "2000"
}        
}

注： 如果要使用特定索引的设置，可以将模式更改为"index_patterns" : ["cloudtrail-*"]。

2. 另一种选择是使用logstash模板，如此链接中所述

---

当一个文档中的字段达到如此高的数字时，您还应考虑重组文档映射，并且响应中并不总是需要所有字段。考虑创建诸如联接/父子等关系，以创建较小的文档以提高效率。