HDinsight-配置单元Java堆错误



我正试图在HDinsight上使用Hive运行一个简单的查询。一个地图任务不断失败,下面是日志错误:

2015-02-28 19:01:02,114 INFO [main]       org.apache.hadoop.hive.ql.exec.mr.ExecMapper: ExecMapper: processed 336785 rows: used memory = 414394136
2015-02-28 19:01:02,130 FATAL [main] org.apache.hadoop.mapred.YarnChild: Error running child : java.lang.OutOfMemoryError: Java heap space

我试图通过添加以下内容来设置java堆大小:设置mapred.child.java.opts=-Xmx2048m;

我还尝试将这个值设置为-Xmx1024m到-Xmx8g,但没有成功。

原来我有一个数据集问题,我文件中的一行接近5gb

相关内容

  • 没有找到相关文章