Hadoop设置——配置参数通过代码

Question

在Hadoop CLI中，我可以设置一个——config参数，以便覆盖默认配置目录。我想知道是否有一些属性在配置对象(或其他地方)，我可以在代码中指定此参数?

Answer 1

你的意思是这样的吗?

Configuration configuration = new Configuration();          
configuration.addResource(new Path("/location/of/core-site.xml"));
configuration.addResource(new Path("/location/of/hdfs-site.xml"));

Answer 2

您可以通过提供-D参数直接从CLI更改配置:

hadoop jar jar.jar namespace.Class -D configuration.parameter=value

要使它工作，你必须实现ToolRunner接口。不用担心，这很容易，这里有一个很好的教程-实现MapReduce驱动器的工具接口

希望有所帮助