如何使用S3为EFK堆栈配置日志的长期保留

Question

对于安装了ElasticSearch、FluentD和Kibana的kubernetes集群，在S3中配置日志长期保留的最佳方法是什么？

Answer 1

如果你还没有安装efk堆栈，你可以这样做：

helm repo add cryptexlabs https://helm.cryptexlabs.com
helm install my-efk-stack cryptexlabs/efk

或者将添加到您的Chart.yaml依赖项中

- name: efk
version: 7.8.0
repository: https://helm.cryptexlabs.com
condition: efk.enabled

接下来创建一个配置映射，其中也将包含您的AWS机密

apiVersion: v1
kind: ConfigMap
metadata:
name: fluentd-extra-config
data:
s3.conf: |-
<match **>
@type copy
copy_mode deep
<store>
@type s3
aws_key_id xxx
aws_sec_key xxx
s3_bucket "#{ENV['AWS_S3_BUCKET']}"
s3_region "#{ENV['AWS_REGION']}"
path "#{ENV['S3_LOGS_BUCKET_PREFIX']}"
buffer_path /var/log/fluent/s3
s3_object_key_format %{path}%{time_slice}/cluster-log-%{index}.%{file_extension}
time_slice_format %Y%m%d-%H
time_slice_wait 10m
flush_interval 60s
buffer_chunk_limit 256m
</store>
</match>

可以选择使用您的AWS访问密钥和id创建一个秘密，请参阅下面的详细信息。不要忘记不透明的秘密必须是base64编码的

apiVersion: v1
kind: Secret
metadata:
name: s3-log-archive-secret
type: Opaque
data:
AWS_ACCESS_KEY_ID: xxx
AWS_SECRET_ACCESS_KEY: xxx

如果你想知道为什么我没有为aws访问密钥和id使用环境变量，那是因为它不起作用：https://github.com/fluent/fluent-plugin-s3/issues/340.如果你使用的是kube-2-iam或kiam，那么这并不重要。请参阅fluentd s3插件的文档，将其配置为承担角色，而不是使用凭据。

这些值将允许您使用配置映射运行s3插件。需要注意的一些重要事项：

• 我使用antiAffinity的"；柔软的"；因为我运行的是单实例金属集群
• S3_LOGS_BUCKET_PREFIX是空的，因为我为每个环境使用一个单独的BUCKET，但您可以为环境共享一个BUCKET，并将前缀设置为环境名称
• 您需要一个docker镜像，它扩展了fluent/fluentdkubernetesdaemonset:v1-debianelasticsearch镜像，并安装了s3插件
• 如果您跳过了为访问密钥和id创建机密的步骤，则可以删除将机密作为环境变量导入的envFrom

efk:
enabled: true
elasticsearch:
antiAffinity: "soft"
fluentd:
env:
- name: FLUENT_ELASTICSEARCH_HOST
value: "elasticsearch-master"
- name: FLUENT_ELASTICSEARCH_PORT
value: "9200"
- name: AWS_REGION
value: us-east-1
- name: AWS_S3_BUCKET
value: your_buck_name_goes_here
- name: S3_LOGS_BUCKET_PREFIX
value: ""
envFrom:
- secretRef:
name: s3-log-archive-secret
extraVolumeMounts:
- name: extra-config
mountPath: /fluentd/etc/conf.d
extraVolumes:
- name: extra-config
configMap:
name: fluentd-extra-config
items:
- key: s3.conf
path: s3.conf
image:
repository: docker.io/cryptexlabs/fluentd
tag: k8s-daemonset-elasticsearch-s3

如果你想制作自己的docker图像，你可以这样做：

FROM fluent/fluentd-kubernetes-daemonset:v1-debian-elasticsearch
RUN fluent-gem install 
fluent-plugin-s3

接下来，您可能想要为s3数据设置一个保留期。您可以在一段时间后将其删除，也可以根据您的要求将其移动到Glacier。

最后，由于我们在S3中有更长的日志保留期，我们可以安全地为使用elasticsearch Curator发送到弹性搜索的数据设置一个较小的保留期，如30天。

你可以这样安装currator：

helm repo add stable https://kubernetes-charts.storage.googleapis.com
helm install curator stable/elasticsearch-curator

或者添加到您的Chart.yaml依赖项：

- name: elasticsearch-curator
version: 2.1.5
repository: https://kubernetes-charts.storage.googleapis.com

values.yaml:

elasticsearch-curator:
configMaps:
action_file_yml: |-
1: &delete
action: delete_indices
description: "Delete selected indices"
options:
ignore_empty_list: True
continue_if_exception: True
timeout_override: 300
filters:
- filtertype: pattern
kind: prefix
value: 'logstash-'
- filtertype: age
source: name
direction: older
timestring: '%Y-%m-%d'
unit: days
unit_count: 30