如何在Hadoop 2.x中增加hdfs的容量

Question

我一直在寻找如何在Hadoop 2.7.2中使用spark 2.0.0增加hdfs的容量。

我读了这个链接。

但是我不明白。这是我的core-site.xml

<configuration>
  <property>
    <name>hadoop.tmp.dir</name>
    <value>hadoop_eco/hadoop/tmp</value>
  </property>
  <property>
    <name>fs.defaultFS</name>
    <value>hdfs://com1:9000</value>
  </property>
</configuration>

和hdfs-site.xml

<configuration>
  <property>
    <name>dfs.namenode.name.dir</name>
    <value>hadoop_eco/hadoop/name</value>
  </property>
  <property>
    <name>dfs.datanode.data.dir</name>
    <value>hadoop_eco/hadoop/data</value>
  </property>
  <property>
    <name>dfs.replication</name>
    <value>3</value>
  </property>
 </configuration>

当我用1个namenode和10个datanode运行spark时，我得到了这个错误消息:

org.apache.hadoop.hdfs。StateChange: DIR* completeFile:/user/火花/_temporary/0 - 00052/_temporary/attempt_201611141313_0001_m_000052_574/部分被DFSClient_NONMAPREDUCE_1638755846_140关闭

我无法识别此错误，但它可能与磁盘容量不足有关。

我配置的容量(hdfs)为499.76GB，每个datanode的容量为49.98GB。

那么，有没有办法增加hdfs的容量?

Answer 1

我解决了。

改变hdfs的容量是如此容易。

我试图改变hdfs-site.xml

  <property>
     <name>dfs.datanode.data.dir</name>
     <value>file://"your directory path"</value>
  </property>

并使用以下命令行

hadoop namenode -format stop-all.sh start-all.sh

最后使用hdfs dfsadmin -report检查hdfs的容量