我正在运行一个简单的连接查询
select count(*) from t1 join t2 on t1.sno=t2.sno
但是，它给出了内存不足异常。
t1和t2都采用rcfile格式在 ssn 上聚集和排序，每个都有 2000 万条记录。我有 3 个数据节点，具有 4 GB 内存和 2 个 CPU 内核。
我尝试运行地图连接，但它也失败了。
其他配置选项包括：
io.sort.mb- 500 MB
io.sort.factor- 10
fs.memory.size.mb- 500 MB
请指教。
您必须配置属性 mapred.child.java.opts，如本文所示