Hadoop YARN:如何管理 I/O

Question

据我所知，Hadoop YARN只能管理CPU和内存(以及像FPGA/GPU这样的Hadoop 3.0设备。但是，我想管理 I/O。

我缺少选项吗？ 在 YARN 上管理 I/O 有哪些可能性？

Answer 1

Hadoop没有明确支持I/O的管理。 你能得到的最接近的东西可能是MapReduce计数器，在那里你可以跟踪读取的字节和写入的字节。 如果要管理它，则必须使用某些治理中间件在外部跟踪这些内容。