有没有办法使用Prometheus监控Hadoop指标?



所以我目前正在运行双集群进行数据处理,一个是 Kubernetes 集群,另一个是 Hadoop 集群。

K8s集群在监控方面得到了照顾,因为在上面部署Prometheus和Grafana非常容易。

然而,对于Hadoop集群,我仍然在寻找一种很好的方法来做到这一点。

目标是拥有一个统一的监控解决方案,所以我认为使用普罗米修斯是个好主意,因为我已经熟悉它,但看起来它并不简单。

默认情况下,Hadoop通过HTTP API公开一些指标,但这些指标并不"对Prometheus友好"。

如果您能解释我如何实现这一目标,将不胜感激。

我建议你看看这个,
https://github.com/marcelmay/hadoop-hdfs-fsimage-exporter

在大多数情况下,当应用程序不公开普罗米修斯指标时,您可以使用导出器,其中有很多。

他们收集指标并以普罗米修斯友好的方式公开它们。

没有专门针对Hadoop的解决方案,您必须使用JMX导出器 https://github.com/prometheus/jmx_exporter

这也是普罗米修斯官方文档推荐的 https://prometheus.io/docs/instrumenting/exporters/

JMX 导出器可以从各种基于 JVM 的导出 应用程序,例如 Kafka 和 Cassandra。

最新更新