YARN hadoop error java heap space

Question

我在hadoop 2.6.0上使用YARN。当我运行mapreduce作业时，我收到如下错误：

15/03/12 22:22:59 INFO mapreduce.Job: Task Id : attempt_1426132548565_0003_m_000002_1, Status : FAILED
Error: Java heap space
15/03/12 22:22:59 INFO mapreduce.Job: Task Id : attempt_1426132548565_0003_m_000000_1, Status : FAILED
Error: Java heap space
15/03/12 22:23:20 INFO mapreduce.Job: Task Id : attempt_1426132548565_0003_m_000002_2, Status : FAILED
Error: Java heap space
Container killed by the ApplicationMaster.

我配置java.opts属性是错误的吗？该错误是由于该配置引起的吗？纱线站点和映射站点上的内存设置之间是否有任何联系？

我很困惑，我需要你的建议谢谢

Answer 1

当容器超过内存/CPU 使用率时，它将被应用程序主节点终止。在您的情况下，映射器可能正在使用多余的内存。尝试添加以下配置：

在mapred-site.xml：

 <property>
   <name> mapreduce.map.memory.mb </name>
   <value>1024</value>
   <description>Enter The amount of memory to request from the scheduler for each map task. </description>
 </property>

默认值为 1024，请尝试将其增加到 2048。

我建议您在更改配置后重新启动群集