如何在MapReduce中验证通用选项

Question

我正在将mapreduce程序的配置属性文件作为hadoop jar myprogram.jar -conf config-props.xml 传递

在我的运行方法中，创建了一个Job对象，如下所示：

Configuration conf = new Configuration();
// I want to validate that one configuration properties file is passed here
Job job = new Job(conf, getClass().getSimpleName());

虽然这很好，但我想在创建Job对象之前添加代码，以验证我是否正在发送一个配置属性文件。寻求帮助如何最好使用GenericOptionsParser完成。

Answer 1

GenericOptionsParser是一个解释常见Hadoop命令行选项并将它们设置在Configuration对象上以供应用程序根据需要使用的类。您通常不直接使用GenericOptionsParser，因为实现Tool接口并使用ToolRunner运行应用程序更方便，ToolRunner在内部使用GenericOptions Parser。

有关使用GOP的更多详细信息，请查看此链接。链接到GOP