在尝试运行Hadoop作业时出现错误。我试图运行的命令是以下从/root/folderx:
[root@hadoop folderX]# hadoop jar /usr/lib/Hadoop-mapreduce/Hadoop-streaming- 2.2.0.2.0.10.0-1.jar
-input /user/cxxx/txxx/uxxx.txt
-output /user/cxxx/txxx/count
-file map.py
-file reduce.py
-mapper map.py
-combiner reduce.py
-reducer recude.py
我在错误的一部分看到以下消息:
Error straming.StreamJob: Error Launching job : Permission denied: user=root,
access=WRITE, inode=”user”:hdfs:drwxr-wr-x
运行命令hadoop fs -ls/user,得到如下信息
drwxr-xr-x - root hdfs 0 2016-11-01 10:10 /user/cxxx
你知道我做错了什么吗?
谢谢
试试下面的命令
sudo -u hdfs hadoop jar /usr/lib/Hadoop-mapreduce/Hadoop-streaming- 2.2.0.2.0.10.0-1.jar
-input /user/cxxx/txxx/uxxx.txt
-output /user/cxxx/txxx/count
-file map.py
-file reduce.py
-mapper map.py
-combiner reduce.py
-reducer recude.py
我用下面的语句解决了这个问题:
sudo -u hdfs hadoop fs -chmod -R 777 /user/cxxx
我不确定这样做是否明智