如何在新的Hadoop api中更改FileSplit大小

Question

由于在新的Hadoop api中，映射程序的数量无法显式设置，我想将SplitSize更改为比默认值更小的数字，以便执行更多的映射程序。如何在新的Hadoop api中做到这一点？

我试过以下方法，但不起作用

 conf.setLong(FileInputFormat.Split_MAXSIZE, 16 * 1024 * 1024)

Answer 1

您必须根据需要更改以下参数。

mapreduce.input.fileinputformat.split.minsize

和

mapreduce.input.fileinputformat.split.maxsize

请查看此链接以了解更多详细信息。

Answer 2

它是mapreduce.input.fileinputformat.split.minsize。如果它不起作用，请分享你的代码，我会看一看。