列出使用最高资源的hadoop yarn作业

Question

我想知道如何列出使用最高内存和CPU的作业，是否有任何命令列出使用最高内存的作业?比如我想知道一个特定的作业使用了多少内核和内存。

Answer 1

您应该能够从YARN UI收集部分数据，但我认为您最好直接在每台机器上安装Prometheus节点/进程导出器或类似的代理，这些代理可以收集有关Linux进程使用情况的信息。