命令行中的HDFS I/O统计信息



有什么方法可以获得hadoop/hdfs集群的I/O统计(即总读取I/O、写入I/O(吗?可能类似于Linux中的iostat?我知道有一种方法可以在webUI中查看统计信息。

http://<namenode_host>:50070/jmx

但我需要访问命令行中的stat。有什么方法可以在命令行中获取webUI内容吗?或者其他工具?我正在使用AmazonEMR作为Hadoop集群。

您可以尝试使用jmxterm进行查询。

https://docs.cyclopsgroup.org/jmxterm

请注意,这需要在节点中启用jmx。此外,对于一些Hadoop发行版(不确定AmazonEMR(,要求连接不使用身份验证。

您可以做的另一件事是使用curl轮询URL,并解析输出。

最新更新