获取添加到Hadoop MR作业的输入文件数

Question

如何获得作为对FileInputFormat.addInputPath和FileInputFormat.addInputPaths的调用的一部分添加的输入文件的数量。我正在尝试添加与某些模式匹配的输入文件，如果没有文件与该模式匹配，并且该MR作业没有输入文件，我想向用户记录一条消息，而根本不提交该作业。

谢谢，

Venkat

Answer 1

FileInputFormat将数据存储在名为mapred.input.dir的Configuration变量中，因此您可以使用以下内容：

Configuration conf = job.getConfiguration();
String dirs = conf.get("mapred.input.dir");
String[] arrDirs = dirs.split(",");
int numDirs = arrDirs.length;

实现这一点的源代码的相关部分是：

conf.set("mapred.input.dir", dirs == null ? dirStr : dirs + "," + dirStr);