数据节点容量为0kb

Question

我正试图用Hadoop弄脏我的手。我的问题可能很基本，请耐心等待

我正在阅读Hadoop:最终指南并遵循天气数据教程。在将数据复制到HDFS时，我得到以下错误：

13/09/02 16:34:35 ERROR hdfs.DFSClient: Failed to close file /user/bhushan/gz/home/bhushan/ncdc_data/ftp3.ncdc.noaa.gov/pub/data/noaa/1901.gz
org.apache.hadoop.ipc.RemoteException: java.io.IOException: File /user/bhushan/gz/home/bhushan/ncdc_data/ftp3.ncdc.noaa.gov/pub/data/noaa/1901.gz could only be replicated to 0 nodes, instead of 1
    at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.getAdditionalBlock(FSNamesystem.java:1920)
    at org.apache.hadoop.hdfs.server.namenode.NameNode.addBlock(NameNode.java:783)
    at sun.reflect.GeneratedMethodAccessor13.invoke(Unknown Source)
    at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
    at java.lang.reflect.Method.invoke(Method.java:601)
    at org.apache.hadoop.ipc.RPC$Server.call(RPC.java:587)
    at org.apache.hadoop.ipc.Server$Handler$1.run(Server.java:1432)
    at org.apache.hadoop.ipc.Server$Handler$1.run(Server.java:1428)
    at java.security.AccessController.doPrivileged(Native Method)
    at javax.security.auth.Subject.doAs(Subject.java:415)
    at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1190)
    at org.apache.hadoop.ipc.Server$Handler.run(Server.java:1426)

我的设置肯定有问题。当我看到report时，我得到的是：

bhushan@ubuntu:~/Documents/hadoop-1.2.1/bin$ hadoop dfsadmin -report
Configured Capacity: 0 (0 KB)
Present Capacity: 0 (0 KB)
DFS Remaining: 0 (0 KB)
DFS Used: 0 (0 KB)
DFS Used%: �%
Under replicated blocks: 0
Blocks with corrupt replicas: 0
Missing blocks: 0
-------------------------------------------------
Datanodes available: 0 (0 total, 0 dead)

这3个配置文件如下（均根据本书）：

hdfs-site.xml:

<?xml version="1.0"?>
<!-- hdfs-site.xml -->
<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
</configuration>

core-site.xml:

<?xml version="1.0"?>
<!-- core-site.xml -->
<configuration>
<property>
<name>fs.default.name</name>
<value>hdfs://localhost/</value>
</property>
</configuration>

mapred site.xml:

<?xml version="1.0"?>
<!-- mapred-site.xml -->
<configuration>
<property>
<name>mapred.job.tracker</name>
<value>localhost:8021</value>
</property>
</configuration>

我格式化了HDFS好几次，但都无济于事。

我需要在某个地方明确指定HDFS大小吗？摘自：

数据节点不参与初始格式化过程，因为namenode管理文件系统的所有元数据和数据节点可以动态地加入或离开集群。出于同样的原因，你不需要说明要创建多大的文件系统，因为这是由集群中数据节点的数量决定，可以是在格式化文件系统很久之后，根据需要增加。

Answer 1

我认为您的DataNode进程没有运行。我猜你正在研究一个伪集群。运行"jps"命令并确保DataNode进程正在运行并维持一段时间，如4到5分钟。如果DataNode正在运行或在几分钟内停止运行，则配置中存在一些问题。您可以尝试以下解决方案。

停止群集。删除DataNode持久性目录。您必须使用hdfs-site.xml中的"dfs.data.dir"属性对其进行了配置。如果您没有进行配置，则它将使用Linux用户临时目录。找到该目录并删除。然后重新启动群集。请再次尝试复制该文件，它应该可以工作。