TestDFSIO hdfs对现有文件

Question

你好，我在hdfs中实现了一个新技术来增强存储，吞吐量和访问时间。我需要测量HDFS上现有文件的读写性能，我找到了这个基准测试TestDFSIO。

hadoop jar hadoop-mapreduce-client-jobclient-3.2.1-tests.jar TestDFSIO -read -nrFiles 100 -fileSize 80MB -resFile /TestDFSIOwrite.txt

如何指定这个jar在HDFS的现有文件上执行

Answer 1

如果你看一下DFSIO源代码，你可以看到配置是从多个文件加载到config变量中。

private Configuration config;
static{
Configuration.addDefaultResource("hdfs-default.xml");
Configuration.addDefaultResource("hdfs-site.xml");
Configuration.addDefaultResource("mapred-default.xml");
Configuration.addDefaultResource("mapred-site.xml");
}

在getReadDir方法中，它在这里读取目录

private static Path getReadDir(Configuration conf) {
return new Path(getBaseDir(conf), "io_read");
}

所以你可以尝试添加io_read配置到mapred-site.xml，看看会发生什么。