增加hadoop任务JVM大小

Question

我想设置任务JVM大小(Map任务和Reduce任务)，可以使用属性mapred.child.java.opts来完成。但我担心的是，我需要把它设置在哪里。我可以在提交作业时使用-D选项设置它，或者我需要在每个节点的mapred-site.xml中设置该属性。

谢谢,Priyaranjan

Answer 1

可以使用

-Dmapred.child.java.opts='-Xmx1024m'

设置任务内存为1024mib。

类似地，在作业的Java代码中，您可以将其设置为配置参数:

conf.set("mapred.child.java.opts", "-Xmx1024m");

Answer 2

像这样:

hadoop jar your.jar package.MainClass -Dmapred.child.java.opts=blar some more args