Hadoop 2.6.0 HDFS输出文件夹



Im new to Hadoop. I setting up a hadoop-cluster with 1 Master and 3 Slaves. Everything is working fine so far. If I start a MapReduce Job the output folder isnt设置为类似do命令所说的

hadoop jar TestApp.jar /hdfs/input /hdfs/output

但是在/hdfs/中没有输出目录,它在/user/hduser/hdfs/output中而我无法得到这份工作的结果。

有人能解释一下吗

Manuel

这很可能是因为您正在以hduser的身份运行Hadoop命令。每个类Unix用户在hdfs:///user/<username>下都有一个HDFS空间。哪个是whoami命令的结果?

为了访问作业的结果,您必须使用Hadoop命令,我的意思是,类似Unix的cat命令不起作用,而是hadoop fs -cathdfs dfs -cat(此处完整参考)。

这可能是因为您在机器内以hduser身份登录,这就是它采用hduser路径的原因。frb已经清楚地解释了为什么这可能是原因。现在您可以做的是,您也可以在/user/hduser/hdfs/input路径中提供您的输入目录。所以它将与您的所有目录同步

最新更新