我们正在尝试使用prometheus获取火花度量。我们使用的是jmx导出器jmx_prometheus_javaagent-0.12.0.jar。
我们能够获得部署模式客户端的指标，但对于集群，我们无法获得
对于使用的独立命令
/spark-submit--conf"spark.driver.extraJavaOptions=-javaagent:../jars/jmx_prometheus_javaagent-0.112.0.jar=8071:../conf/spark.yml"--class somecustomeclass--部署模式客户端--执行器内存3g--驱动程序内存3g/jars/somejar.jar
对于集群，我们尝试了
/spark-submit--supervisor--部署模式集群--conf'spark.driver.extraJavaOptions=-javaagent:jars/jmx_prometheus_javaagent-0.12.0。jar=8060:/conf/spark.yml spark.executor.extraJava Options=-javaagent:/jars/jnx_promethues_javaagent-0.12.0。jar=8061:/conf/spark.yml spark.jars=/jars/jmx_promethous_javaagent-0.112.0.jar’--文件/jars/jmx_pretheus_javaagent-0.112.0.jar--类org.apache.spark.examples.ParkTC--masterspark://host1:7077，host2:7077--执行器内存1G--执行器内核总数1/spark/spark-2.4.0-bin-hadoop2.7/examples/jars/spark-examples_2.11-2.4.0.jar 1
我们在设置或命令中遗漏了什么吗？
需要打开安装程序中缺少的jmx端口。。
跟随https://argus-sec.com/monitoring-spark-prometheus/并且可以获得度量。