EFK 系统建立在 docker 上，但 fluentd 无法启动

Question

我想通过docker compose构建efk记录器系统。一切都设置好了，只有fluentd有问题。

流动码头工人集装箱日志

2022-02-15 02:06:11+0000〔info〕：解析配置文件成功path＝"fluentd/etc/fluent.conf"；

2022-02-15 02:06:11+0000[info]：gem"fluent plugin elasticsearch"版本"5.0.3">

2022-02-15 02:06:11+0000[info]：gem"fluentd"版本"1.12.0">

/usr/local/lib/rube/2.6.0/rubygems/core_ext/kernel_requiser.rb:54:在"require"中：无法加载此类文件--弹性搜索/传输/传输/连接/选择器(LoadError(

我的目录：

我的项目/├─流动的/│  ├─conf/│  │  └──fluent.conf│  └──Dockerfile└──docker-compose.yml

docker-compase.yml:

version: "3"
services:
web:
image: httpd
ports:
- "8010:80"
depends_on:
- fluentd
logging:
driver: "fluentd"
options:
fluentd-address: 127.0.0.1:24224
fluentd-async: 'true'
tag: httpd.access
fluentd:
build: ./fluentd
volumes:
- ./fluentd/conf:/fluentd/etc
links:
- "elasticsearch"
ports:
- "24224:24224"
- "24224:24224/udp"
elasticsearch:
image: docker.elastic.co/elasticsearch/elasticsearch:7.13.1
environment:
- discovery.type=single-node
expose:
- 9200
ports:
- "9200:9200"
kibana:
image: docker.elastic.co/kibana/kibana:7.13.1
links:
- "elasticsearch"
ports:
- "5601:5601"

Dockerfile:

# fluentd/Dockerfile
FROM fluent/fluentd:v1.12.0-debian-1.0
USER root
RUN ["gem", "install", "fluent-plugin-elasticsearch", "--no-document", "--version", "5.0.3"]
USER fluent

fluent.conf：

<source>
@type forward
port 24224
bind 0.0.0.0
</source>
<match *.**>
@type copy
<store>
@type elasticsearch
host elasticsearch
port 9200
logstash_format true
logstash_prefix fluentd
logstash_dateformat %Y%m%d
include_tag_key true
type_name access_log
tag_key @log_name
flush_interval 1s
</store>
<store>
@type stdout
</store>
</match>

Answer 1

更新：新版本的fluent-plugin-elasticsearch修复了该问题，因此您可以安装fluent-plugin-elasticsearch>=5.20

如果你不能使用更新的插件版本或有其他问题，你仍然可以使用旧的解决方案：

似乎是弹性搜索8.0打破了这个功能。你可以等待一个修复，在等待的时候添加一些类似的东西：

FROM fluent/fluentd:v1.12.0-debian-1.0
USER root
RUN gem uninstall -I elasticsearch && gem install elasticsearch -v 7.17.0
RUN ["gem", "install", "fluent-plugin-elasticsearch", "--no-document", "-- 
version", "5.0.3"]
USER fluent

Answer 2

我遇到了同样的问题，我通过将Dockerfile中的fluent-plugin-elasticsearch版本更新到5.2.0来解决它。

Answer 3

我遇到了同样的问题，但我过去一直在制作完全相同的图像，直到今天一切都在工作。我不知道发生了什么变化。

但如果你需要紧急解决问题，请使用我的个人图像：

docker pull kurraj/fluentd_castom:latest

我的档案：

FROM fluent/fluentd:v1.14-1
USER root
RUN gem update --system && 
gem install fluent-plugin-elasticsearch --source http://rubygems.org