系统服务和结构化日志记录

Question

我有一个类型为 simple 的 systemd 服务。

我希望我的服务记录键值对。

到目前为止，我的简单服务只是以自定义键值语法将其日志打印到 stdout。

我想避免我的自定义键值语法，它使用官方方式进行结构化日志记录。

有没有办法将结构化日志与 systemd 一起使用？

例如，我的服务将其写入标准输出：

{"key1": "value1", "key2": 1234}

systemd 可以将字符串读取为 json 会很棒。

Answer 1

您可以将结构化数据记录到systemd，然后按原样或以 json 格式查看

假设我们以 json 格式记录键值对

systemd-cat -t "struct_logs" echo '{"key1": "value1", "key2": 1234}'

然后我们按原样阅读它们

sudo journalctl -t 'struct_logs' --lines 1 --no-pager
Apr 30 21:46:14 linux-ar struct_logs[17455]: {"key1": "value1", "key2": 1234}

或采用 json 格式

sudo journalctl -t 'struct_logs' --lines 1 --no-pager -o json-pretty
{
        "__CURSOR" : "s=b6d07ffffffffff2787cea140a0db88a5;i=db8;b=c9b2132ffffffffe5807625fe;m=9fa5b3f81;t=58fffffff87eab;x=6402818ea7e32a5b",
        "__REALTIME_TIMESTAMP" : "1556671574343339",
        "__MONOTONIC_TIMESTAMP" : "42854989697",
        "_BOOT_ID" : "fffffffffffff24ec7a237b5e5807625fe",
        "PRIORITY" : "6",
        "_MACHINE_ID" : "fffffffffff66c86aaaaaaaaaa",
        "_HOSTNAME" : "linux-ar",
        "_TRANSPORT" : "stdout",
        "_UID" : "1000",
        "_GID" : "100",
        "SYSLOG_IDENTIFIER" : "struct_logs",
        "MESSAGE" : "{"key1": "value1", "key2": 1234}",
        "_PID" : "17455"
}

更进一步，您可以在jq的帮助下恢复确切的日志消息

sudo journalctl -t 'struct_logs' --lines 1 --no-pager -o json-pretty | jq -r '.MESSAGE'
{"key1": "value1", "key2": 1234}

还可以

记录自定义密钥，前提是用户具有执行此操作的适当权限。服务应该能够做到这一点

sudo logger --journald <<end
MESSAGE_ID=67feb6ffbaf24c5cbec13c008dd72309
MESSAGE=The dogs bark, but the caravan goes on.
SYSLOG_IDENTIFIER=struct_logs
KEY=bark
VALUE=goes on
end

希望这有帮助。

Answer 2

查看从

docker 容器中记录的结构化日志记录;如果要指定自定义字段，应用程序应使用 sd_journal_send 方法。

如果您的应用程序无法做到这一点，您还可以输出 json - 这将最终出现在 MESSAGE 字段中，然后您可以自己解析。例如 - 我编写了SystemdJournal2Gelf将日志条目发送到Graylog，它还支持MESSAGE中的json输出，将其作为单独的字段发送到Graylog以进行过滤

如果您不想修改应用程序，可以使用单独的脚本 - 如下所示：

[Service]
ExecStart=/bin/sh -c '/bin/my-app | while read l; do echo "$l" | logger --journald; done'

如果需要，您甚至可以将json转换为键/值对，或者使用 StandardOutput 将标准输出发送到有单独服务侦听的套接字。

Answer 3

好吧，systemd 并没有使从文本流进行结构化日志记录变得容易。它希望你依赖它的库并使用sd_journal_send(参见示例 http://0pointer.de/blog/projects/journal-submit.html(。我没有找到任何"文本形式"标准可以让 systemd 理解您的行不应该在MESSAGE字段中粘在一起，而应该被解释为键值对。我想一个解决方案是编写一个辅助进程来解析您的标准输出，然后调用 systemd 记录器。然后，您将通过管道将流程标准输出流程导入

但是，我确实找到了直接进入日志套接字的答案。通过巧妙地使用jq，你可以写一些利用它的东西。但这似乎很笨拙：我不知道systemd是否真的打算在该插槽上保持任何兼容性。