如何使用fluentd解析redis日志

Question

我想在gcp日志管理器中显示redis日志。为了做到这一点，我在gcp实例中安装了fluentd，它有redis日志，通过https://www.fluentd.org。然后我对td-agent.conf进行如下配置:

<source>
@type tail
format none
path /var/log/redis/*.log
pos_file /var/log/td-agent/pos/redis-server-log.pos
read_from_head true
<parse>
@type syslog
</parse>
tag redis
</source>
<filter **>
@type add_insert_ids
insert_id_key uniq_id # Optional.
</filter>
<match **>
@type google_cloud
</match>

/var/log/redis/redis.log的格式为:

40165:M 28 Jan 2021 16:06:57.699 - 0 clients connected (0 replicas), 1449680 bytes in use
40165:M 28 Jan 2021 16:07:02.720 - 0 clients connected (0 replicas), 1449680 bytes in use
40165:M 28 Jan 2021 16:07:05.592 - Accepted 127.0.0.1:40696

我在gcp日志中没有看到redis日志。我怀疑td-agent.conf部分不应该是syslog。但是我应该用什么解析器来解析redis日志?

Answer 1

您的示例redis日志没有格式。它是非结构化文本，前缀为日期字符串。

检查是否有日志旋转。如果是，那么您可能不想使用*.log。请指定日志文件名。

我将这样使用:

<source>
@type tail
# Parse the timestamp and collect the entire line as 'message'
format /^(?<message>(?<time>[^ ]*s*[^ ]* [^ ]*) .*)$/
path /var/log/redis/*.log
pos_file /var/lib/google-fluentd/pos/redis.log.pos
read_from_head true
tag redis
</source>