使用Prometheus监控大量小型Spark集群

Question

当我每次需要启动一个新集群时，我如何使用Prometheus(它使用'pull'方法)来监视我的Spark集群，这意味着我没有一个稳定的监视端点。

Answer 1

这在一定程度上取决于您如何/在何处启动集群。当使用Kubernetes时，你可以使用Kubernetes SD配置来发现你的目标，或者使用Prometheus Operator(参见这里)。

如果在EMR上运行，您可以使用引导操作来配置node_出口商和jmx_出口商。查看下面的示例，以了解如何这样做。

或者，对于这个用例，你可以使用Prometheus Pushgateway和一个自定义Spark sink(示例)。