我在/tmp 中的容量有限,所以我想将 mapred 的所有中间输出移动到一个更大的分区中,比如/home/hdfs/tmp_data 。
如果我理解正确,我只需要设置
<property>
<name>mapred.child.tmp</name>
<value>/home/hdfs/tmp_data</value>
在地图网站中.xml
我通过 Ambari 重新启动集群,检查所有内容都写在 conf 文件中,但是,当我运行 pig 脚本时,它会一直写入:
tmp/hadoop-hdfs/mapred/local/taskTracker/hdfs/jobcache/job_localXXX/attempt_YY/output我还修改了core-site.xml中的hadoop.tmp.dir为/home/hdfs/tmp_data,但没有任何变化。
是否有任何参数会覆盖我的设置?
尝试覆盖任务跟踪器节点映射站点.xml文件中的以下属性并重新启动它。
<property>
<name>mapred.local.dir/name>
<value>/home/hdfs/tmp_data</value>
</property>