普罗米修斯从度量标签创建标签

Question

我们在容器中运行节点导出器。为了快速确定每个节点导出器在哪个主机上运行，我创建了一个如下所示的指标：host{host="$HOSTNAME",node="$CONTAINER_ID"} 1

我正在寻找一种在host=中提取主机名并为每个节点导出器实例创建一个标签作为主机名标签的方法。我尝试了许多配置，但似乎都不起作用。当前的普罗米修斯配置如下所示：

scrape_configs:
- job_name: 'node'
scrape_interval: 10s
scrape_timeout: 5s
metrics_path: /metrics
scheme: http
dns_sd_configs:
- names:
- tasks.master-nodeexporter
refresh_interval: 30s
type: A
port: 9100
relabel_configs:
- source_labels: ['host']
regex: '"(.*)".*'
target_label: 'hostname'
replacement: '$1'

Answer 1

这是不可能的，因为目标重新标记发生在抓取之前。

您在这里要做的是首先使用服务发现来拥有正确的主机名，这在dns_sd_configs中是不可能的。你可能会看看像领事和 https://www.robustperception.io/controlling-the-instance-label/

Answer 2

如果有人遇到这种情况：

将其创建为 docker-entrypoint.sh 并使其可执行。

#!/bin/sh -e
# Must be executable by others
NODE_NAME=$(cat /etc/nodename) echo "node_meta{node_id="$NODE_ID", container_label_com_docker_swarm_node_id="$NODE_ID", node_name="$NODE_NAME"} 1" > /etc/node-exporter/node-meta.prom
set -- /bin/node_exporter "$@"
exec "$@"

比创建这样的 Dockerfile

FROM prom/node-exporter:latest
ENV NODE_ID=none
USER root
COPY conf /etc/node-exporter/
ENTRYPOINT [ "/etc/node-exporter/docker-entrypoint.sh" ]
CMD [ "/bin/node_exporter" ]

比构建它，您将始终获得主机名作为node_meta指标

Answer 3

这个答案解释了如何通过node_name指标的标签导出节点名称node_meta。然后，可以将node_name标签添加到查询期间使用group_left()修饰符node_exporter公开的任何指标。例如，以下 PromQL 查询将node_name标签从node_meta指标添加到node_memory_Active_bytes指标：

node_memory_Active_bytes
* on(job,instance) group_left(node_name)
node_meta

有关group_left()修饰符的更多详细信息，请参阅这些文档和本文。