Hadoop为什么不使用其他硬盘

Question

这是我第一次使用Hadoop集群，所以我对这方面很陌生。

我有一个由3个节点组成的小型集群，每台计算机中有5 x 2 TB的硬盘驱动器。所有这些都运行Ubuntu，具有相同的硬件规格，并且使用Apache Hadoop 1.0.4。硬盘以/media/diskb、/media/disk、/media/deskd等形式安装在每台相应的计算机上，并配置为JBOD。

所有3台计算机都用作数据节点和任务跟踪器，其中一台是主名称节点和辅助名称节点，第二台是作业跟踪器，第三台是纯从属（DT/TT）节点。

在每台计算机的hdfssite.xml文件中，我都列出了装载点，以逗号分隔，没有空格作为值。

<property>
 <name>dfs.datanode.data.dir</name>
 <value>/data/dfs/data,/media/diskb/data/dfs/data,/media/diskc/data/dfs/data,..</value>
</property>

对于名称节点：

<property>
 <name>dfs.namenode.name.dir</name>
 <value>/data/dfs/name,/media/diskb/data/dfs/name,/media/diskc/data/dfs/name,..</value>
</property>

在映射的site.xml:中

<property>
 <name>mapred.local.dir</name>
 <value>/data/mapred/local,/media/diskb/data/mapred/local,/media/diskc/data/mapred/local,...</value>
</property>

此外，在核心站点.xml中

<property>
 <name>hadoop.tmp.dir</name>
 <value>/media/diskb/data</value>
</property>

（我曾经尝试过将临时目录更改为一次分配给磁盘以检查权限等，Hadoop运行良好）

Hadoop用户帐户的装载权限和目录所有权已满。当我运行map/reduce程序时，我可以看到Hadoop在每个节点的mapred/local目录下的额外磁盘中创建资源文件夹，但我没有看到数据节点目录发生同样的情况，管理页面上报告的配置容量（namenode:50070）为：5.36 TB（每个节点1.78 TB）。

为什么Hadoop没有使用每一个总容量应为26.7 TB的硬盘

此外，与在每个节点上只使用一个磁盘相比，使用所有磁盘运行Map/Reduce作业的性能没有提高。我应该期待什么

谢谢！

Answer 1

好的，非常简单的答案：dfs.namenode.name.dir应为dfs.name.dir且dfs.datanode.data.dir应该是dfs.data.dirTR

我认为它们（dfs.name.dir，dfs.data.dir）是不推荐使用的，但显然不是。因此Hadoop按照我在core-site.xml中设置的默认值运行，因此只使用了3个驱动器。