以编程方式设置 Hadoop 作业配置

Question

我正在为reducechild获得OOM异常（Java堆空间）。我在文档中读到，将mapred.reduce.child.java.opts的值增加到-Xmx512M或更多会有所帮助。由于我不是管理员，因此我无法在mapred-site.xml中更改该值。我只想通过 java 程序为我的工作设置该值。我尝试使用Configuration类设置它，如下所示，但这不起作用。

Configuration config = new Configuration(); config.set("mapred.reduce.child.java.opts", "-Xmx512M"); JobConf conf1 = new JobConf(config, this.getClass());

Hadoop的版本是1.0.3

以编程方式设置配置值的正确方法是什么？

Answer 1

正如

@ThomasJungblut和@octo所指出的，我在问题中提到的程序是正确的方法。OOM 异常仍然存在，所以我会启动一个新线程，而不是在这里继续。