如何确定Hadoop中映射器的正确数量

Question

我为Hadoop程序提供了一个大小为4MB的输入文件(其中有100k条记录)。由于每个HDFS块是64 MB，并且文件只适合一个块，所以我选择映射器的数量为1。但是，当我增加映射器的数量(让我们增加到24个)时，运行时间会变得更好。我不知道为什么会这样?因为所有的文件只能被一个映射器读取。

算法的简要描述:使用configure函数从DistributeCache读取集群，并存储在一个名为clusters的全局变量中。映射器逐行读取每个块，并找到每行所属的集群。下面是一些代码:

public void configure(JobConf job){
        //retrieve the clusters from DistributedCache 
        try {               
            Path[] eqFile = DistributedCache.getLocalCacheFiles(job);
            BufferedReader reader = new BufferedReader(new FileReader(eqFile[0].toString()));               

            while((line=reader.readLine())!=null){
                //construct the cluster represented by ``line`` and add it to a global variable called ``clusters``
                }

            reader.close();             
        } catch (IOException e) {
            // TODO Auto-generated catch block
            e.printStackTrace();
        }
    }

和映射器

 public void map(LongWritable key, Text value, OutputCollector<IntWritable, EquivalenceClsAggValue> output, Reporter reporter) throws IOException {
         //assign each record to one of the existing clusters in ``clusters''.
        String record = value.toString();
        EquivalenceClsAggValue outputValue = new EquivalenceClsAggValue();
        outputValue.addRecord(record);
        int eqID = MondrianTree.findCluster(record, clusters);
        IntWritable outputKey = new IntWritable(eqID);
        output.collect(outputKey,outputValue);          
    }   

我有不同大小的输入文件(从4mb到4GB)。如何找到最优数量的映射器/简化器?我的Hadoop集群中的每个节点都有2个核心，我有58个节点。

Answer 1

，因为所有文件只能被一个映射器读取。

事实并非如此。有几点要记住……

• 单个区块被复制3次(默认情况下)，这意味着三个独立的节点可以访问同一个区块，而无需通过网络
• 没有理由不能将单个块复制到多台机器上，然后它们会寻求分配给它们的分割

Answer 2

你需要调整"mapred.max.split.size"。以字节为单位给出适当的大小作为值。MR框架将基于此和块大小计算正确的映射器#。