我正试图在HDinsight上使用Hive运行一个简单的查询。一个地图任务不断失败,下面是日志错误:
2015-02-28 19:01:02,114 INFO [main] org.apache.hadoop.hive.ql.exec.mr.ExecMapper: ExecMapper: processed 336785 rows: used memory = 414394136
2015-02-28 19:01:02,130 FATAL [main] org.apache.hadoop.mapred.YarnChild: Error running child : java.lang.OutOfMemoryError: Java heap space
我试图通过添加以下内容来设置java堆大小:设置mapred.child.java.opts=-Xmx2048m;
我还尝试将这个值设置为-Xmx1024m到-Xmx8g,但没有成功。
原来我有一个数据集问题,我文件中的一行接近5gb