在 Mesos Web UI 中,我可以在表中查看 Spark 执行器的内存使用情况
Agents -> Framework -> Executors
有一个表列出了我的 Spark 驱动程序的所有执行程序,它们的内存使用情况在第Mem (Used / Allocated)
列中指示。
有没有办法直接通过链接获取此号码,如果是,如何获取?
例如,我可以通过 http://IP/mesos/metrics/snapshot 获取一堆 Mesos 指标,但执行器的内存使用量不是其中之一。
执行器的内存使用实际上与 mesos 任务有关,意味着每个任务执行器将消耗多少内存。
如果以上是你需要的,你可以使用以下 rest api 来获取一个 json,然后解析从中使用的内存。
http://mesos_ip:5050/master/tasks
仅供参考。
自己找到了答案。对于可以运行执行程序的每个工作线程/代理,直接访问内存信息如下:
http://IP_of_worker1:5051/slave(1)/monitor/statistics
http://IP_of_worker2:5051/slave(1)/monitor/statistics
等
内容采用 json 的形式,framework_id允许查找相关的执行器及其内存消耗、CPU 使用率等,以及表中给出的内容。