Windows下设置Hadoop 2.6 Mapreduce权限错误

我在Windows上安装了Hadoop 2.6作为一些依赖于Hadoop的软件的测试平台。据我所知，安装工作正常。我有Hadoop保存在C:Hadoop和我的临时文件夹在C:hadooptemp。我遵循这个教程来设置它:https://drive.google.com/file/d/0BweVwq32koypYm1QWHNvRTZWTm8/view

当我像本教程中提供的那样为pi运行hadoop-mapreduce-examples-2.6.0.jar时，我得到以下输出:

Number of Maps  = 2
Samples per Map = 5
Wrote input for Map #0
Wrote input for Map #1
Starting Job
15/08/27 15:55:10 INFO client.RMProxy: Connecting to ResourceManager at /155.41.90.116:8032
15/08/27 15:55:12 INFO input.FileInputFormat: Total input paths to process : 2
15/08/27 15:55:12 INFO mapreduce.JobSubmitter: number of splits:2
15/08/27 15:55:13 INFO mapreduce.JobSubmitter: Submitting tokens for job: job_1440705227041_0001
15/08/27 15:55:14 INFO impl.YarnClientImpl: Submitted application application_1440705227041_0001
15/08/27 15:55:14 INFO mapreduce.Job: The url to track the job: http://mycomp:8088/proxy/application_1440705227041_0001/
15/08/27 15:55:14 INFO mapreduce.Job: Running job: job_1440705227041_0001
15/08/27 15:55:35 INFO mapreduce.Job: Job job_1440705227041_0001 running in uber mode : false
15/08/27 15:55:35 INFO mapreduce.Job:  map 0% reduce 0%
15/08/27 15:55:35 INFO mapreduce.Job: Job job_1440705227041_0001 failed with state FAILED due to: Application application_1440705227041_0001 failed 2 times due to AM Container for appattempt_1440705227041_0001_000002 exited with  exitCode: -1000
For more detailed output, check application tracking page:http://mycomp:8088/proxy/application_1440705227041_0001/Then, click on links to logs of each attempt.

诊断:Failed to setup local dir/hadooptemp/nm-local-dir，标记为good.

Failing this attempt. Failing the application.
15/08/27 15:55:35 INFO mapreduce.Job: Counters: 0
Job Finished in 25.444 seconds
java.io.FileNotFoundException: File does not exist: hdfs://155.41.90.116:8020/user/me/QuasiMonteCarlo_1440705304456_1878814183/out/reduce-out
        at org.apache.hadoop.hdfs.DistributedFileSystem$18.doCall(DistributedFileSystem.java:1122)
        at org.apache.hadoop.hdfs.DistributedFileSystem$18.doCall(DistributedFileSystem.java:1114)
        at org.apache.hadoop.fs.FileSystemLinkResolver.resolve(FileSystemLinkResolver.java:81)
        at org.apache.hadoop.hdfs.DistributedFileSystem.getFileStatus(DistributedFileSystem.java:1130)
        at org.apache.hadoop.io.SequenceFile$Reader.<init>(SequenceFile.java:1751)
        at org.apache.hadoop.io.SequenceFile$Reader.<init>(SequenceFile.java:1774)
        at org.apache.hadoop.examples.QuasiMonteCarlo.estimatePi(QuasiMonteCarlo.java:314)
        at org.apache.hadoop.examples.QuasiMonteCarlo.run(QuasiMonteCarlo.java:354)
        at org.apache.hadoop.util.ToolRunner.run(ToolRunner.java:70)
        at org.apache.hadoop.examples.QuasiMonteCarlo.main(QuasiMonteCarlo.java:363)
        at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
        at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:57)
        at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
        at java.lang.reflect.Method.invoke(Method.java:606)
        at org.apache.hadoop.util.ProgramDriver$ProgramDescription.invoke(ProgramDriver.java:71)
        at org.apache.hadoop.util.ProgramDriver.run(ProgramDriver.java:144)
        at org.apache.hadoop.examples.ExampleDriver.main(ExampleDriver.java:74)
        at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
        at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:57)
        at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
        at java.lang.reflect.Method.invoke(Method.java:606)
        at org.apache.hadoop.util.RunJar.run(RunJar.java:221)
        at org.apache.hadoop.util.RunJar.main(RunJar.java:136)

从我一直跟踪的exitCode: -1000，归结为Hadoop无法设置本地目录具有适当的权限。我相信在我上面使用的教程中，这就是他们禁用用户帐户控制的原因。无论我是否这样做，我都会得到相同的错误。

我在这个链接中也发现了类似的问题:Mapreduce错误:Failed to setup local dir

我试着按照他们说的去做，通过文件夹属性、安全性和高级设置，使C:Hadoop和C:hadooptemp都属于我的用户帐户。我被列为所有者之前，我有完全控制访问根据这个文件夹。要么这不是问题，要么我错误地将所有权分配给了我的帐户。

最后，在我的YARN节点管理器中，我得到以下错误，似乎可能是相关的，在几个地方弹出:

15/08/27 15:55:34 WARN localizer.ResourceLocalizationService: Permissions incorrectly set for dir /hadooptemp/nm-local-dir/usercache, should be rwxr-xr-x, actual value = rwxrwxr-x

似乎我有太多的权限，因为它说他们是不正确的设置?我无法想象这是问题的原因，我的组也有写权限，但我不知道如何在Windows中更改。

如果您能帮助解决权限问题的细节以修复此错误，我将不胜感激。

在我的情况下是由于Windows域不可达。将您的pc连接到windows Domain。这里是我的纱线配置

<configuration>
<!-- Site specific YARN configuration properties -->
     <property>
        <name>yarn.resourcemanager.hostname</name>
        <value>0.0.0.0</value>
    </property>
<property>
        <name>yarn.nodemanager.local-dirs</name>
        <value>c:myhadoop-2.7.1tmp-nm</value>
</property>
    <property>
        <name>yarn.nodemanager.disk-health-checker.max-disk-utilization-per-disk-percentage</name>
        <value>98.5</value>
    </property>
</configuration>

参见https://hadoop.apache.org/docs/r2.7.1/hadoop-yarn/hadoop-yarn-site/SecureContainer.html

我在Windows命令提示符中以管理员身份运行start-yarn.sh后绕过了Permissions incorrectly set消息

以管理员身份运行命令提示符，并使用start-dfs和start-yarn命令

这对我有用…以管理员身份运行start-all.cmd

这有点老了，但是我今天遇到了一个类似的权限问题，并且能够用以下方法解决它:

确保你在yarn-site.xml中的属性设置正确，就像@venergiac上面提到的那样。为了完整添加:

<configuration>
    <property>
        <name>yarn.resourcemanager.hostname</name>
        <value>0.0.0.0</value>
    </property>
    <property>
        <name>yarn.nodemanager.local-dirs</name>
        <value>file:///d:/hadoop/hadoop-3.1.0/tmp</value>
    </property>
</configuration>

如果，像我一样，这不能修复错误，只需准确地修复它告诉你的问题(即文件夹权限)。这有点棘手，因为在windows上没有chmod，但这就是为什么我们有cygwin!打开cygwin终端，使用基本的chmod命令编辑文件权限，使其与hdfs期望的值完全匹配。例如，根据OP的日志输出:

dir/hadooptemp/nm-local-dir/usercache权限设置错误，应该是rwxr-xr-x，实际值= rwxrwxr-x

我们可以简单地运行:

chmod g-w /hadooptemp/nm-local-dir/usercache

我有类似的错误。原因是

<property>
    <name>yarn.nodemanager.local-dirs</name>
    <value>D:hadooptmp</value>
</property

指的是'D'驱动器，即exFAT。当我将位置更改为NTFS时，它开始工作

在我的情况下，这个问题是由于我的电脑是由公司安全创建的。我连上了公司的vpn，问题就解决了

相关内容

最新更新

热门标签：