Hadoop Mapreduce Counters



有人能详细解释以下文件系统计数器的含义吗?

  • 文件字节读取
  • FILE_BYTES_writted
  • 文件读取操作
  • FILE_LARGE_READ_OPS
  • 文件写入操作
  • HDFS_BYTES_READ
  • HDFS_BYTES_writted
  • HDFS_READ_OPS
  • HDFS_LARGE_READ_OPS
  • HDFS_WRITE_OPS

FILE_BYTES_READ是本地文件系统读取的字节数。假设所有映射输入数据都来自HDFS,那么在映射阶段FILE_BYTES_READ应该为零。另一方面,减速器的输入文件是从映射侧磁盘获取的减速器侧本地磁盘上的数据。因此,FILE_BYTES_READ表示还原器读取的总字节数。

FILE_BYTES_WRITTEN由两部分组成。第一部分来自映射器。所有映射程序都会将中间输出溢出到磁盘。映射器写入磁盘的所有字节都将包含在FILE_bytes_WRITTEN中。第二部分来自减速器。在混洗阶段,所有减速器将从映射器中获取中间数据,并合并并溢出到减速器侧磁盘。减速器写入磁盘的所有字节也将包含在FILE_bytes_WRITTEN中。

HDFS_BYTES_READ表示作业启动时映射器从HDFS读取的字节。这些数据不仅包括源文件的内容,还包括有关拆分的元数据。

HDFS_BYTES_WRITTEN表示写入HDFS的字节。它是最终输出的字节数。

读取操作-读取操作的数量,如listStatus、getFileBlockLocations、open等。

写入操作-写入操作的数量,如创建、追加、设置权限等。

http://comphadoop.weebly.com/experiment-and-results.html

最新更新