如何获取 Mesos 代理框架执行器内存



在 Mesos Web UI 中,我可以在表中查看 Spark 执行器的内存使用情况

Agents -> Framework -> Executors

有一个表列出了我的 Spark 驱动程序的所有执行程序,它们的内存使用情况在第Mem (Used / Allocated)列中指示。

有没有办法直接通过链接获取此号码,如果是,如何获取?

例如,我可以通过 http://IP/mesos/metrics/snapshot 获取一堆 Mesos 指标,但执行器的内存使用量不是其中之一。

执行器的内存使用实际上与 mesos 任务有关,意味着每个任务执行器将消耗多少内存。

如果以上是你需要的,你可以使用以下 rest api 来获取一个 json,然后解析从中使用的内存。

http://mesos_ip:5050/master/tasks

仅供参考。

自己找到了答案。对于可以运行执行程序的每个工作线程/代理,直接访问内存信息如下:


http://IP_of_worker1:5051/slave(1)/monitor/statisticshttp://IP_of_worker2:5051/slave(1)/monitor/statistics

内容采用 json 的形式,framework_id允许查找相关的执行器及其内存消耗、CPU 使用率等,以及表中给出的内容。

最新更新