普罗米修斯指标在被删除后不会消失

Question

我需要删除一些来自一个主机的普罗米修斯指标。为简单起见，我们假设需要删除主机中的所有指标。

已对两个 VM 上的delete_series终结点执行 POST。 按预期获得 204。指标并没有消失(即使在通过CTRL+R、CTRL+F5强制缓存刷新后，在 Web/浏览器界面中仍然可见(。

还尝试强迫clean_tombstones，得到204，但没有改变。

重新启动了两个实例，然后也等了一天，希望"某些东西"会重新加载。

使用的命令： # curl -X POST -g 'http://localhost:9090/api/v1/admin/tsdb/delete_series?match[]={instance="my-hostname"}' -v

# curl -X POST -g 'http://localhost:9090/api/v1/admin/tsdb/clean_tombstones' -v

输出：

*   Trying 127.0.0.1...
* Connected to localhost (127.0.0.1) port 9090 (#0)
> POST /api/v1/admin/tsdb/delete_series?match[]={instance="my-hostname"} HTTP/1.1
> Host: localhost:9090
> User-Agent: curl/7.47.0
> Accept: */*
>
< HTTP/1.1 204 No Content
< Access-Control-Allow-Headers: Accept, Authorization, Content-Type, Origin
< Access-Control-Allow-Methods: GET, OPTIONS
< Access-Control-Allow-Origin: *
< Access-Control-Expose-Headers: Date
< Date: Tue, 23 Jul 2019 07:54:30 GMT
<
* Connection #0 to host localhost left intact

我的 Prometheus 集群由两个运行 Prometheus 2.6.1 的虚拟机组成。

admin-api已启用：

           └─28557 /opt/prometheus/prometheus-server/prometheus --config.file=/etc/prometheus/prometheus.yml --storage.tsdb.path=/data/prometheus/databases --storage.tsdb.retention=15d --web.enable-admin-api --web.external-url=http://redacted --log.level=debug

Answer 1

经过进一步检查，发现源主机上/var/spool/prometheus目录中有一个意外的节点导出器文件，导致节点导出器一遍又一遍地重新抓取古老的指标。删除文件并重新运行删除命令后，指标将消失。