计划运行一次的映射程序的意外多次执行

Question

我试着写一个非常简单的作业，只使用一个映射器，没有reducer来向hbase写入一些数据。在映射器中，我尝试简单地打开与hbase的连接，向表中写入几行数据，然后关闭连接。在作业驱动程序中，我使用JobConf.setNumMapTasks（1）；以及JobConf.setNumReduceTasks（0）；以指定只执行1个映射器而不执行任何reducer。我还在jobConf中将reducer类设置为IdentityReducer。我观察到的奇怪行为是，该作业成功地将数据写入了hbase表，但在那之后，我在日志中看到它不断尝试打开与hbase的连接，然后关闭连接，这种连接持续了20-30分钟，并且在该作业被宣布100%成功完成后。最后，当我检查由我放在OutputCollector.collect（…）中的伪数据创建的_success文件时，我看到了数百行伪数据，而应该只有1行。以下是作业驱动程序的代码

    public int run(String[] arg0) throws Exception {
        Configuration config = HBaseConfiguration.create(getConf());
        ensureRequiredParametersExist(config);
        ensureOptionalParametersExist(config);
        JobConf jobConf = new JobConf(config, getClass());
        jobConf.setJobName(config.get(ETLJobConstants.ETL_JOB_NAME));
        //set map specific configuration
        jobConf.setNumMapTasks(1);
        jobConf.setMaxMapAttempts(1);
        jobConf.setInputFormat(TextInputFormat.class);
        jobConf.setMapperClass(SingletonMapper.class);
        jobConf.setMapOutputKeyClass(LongWritable.class);
        jobConf.setMapOutputValueClass(Text.class);
        //set reducer specific configuration
        jobConf.setReducerClass(IdentityReducer.class);
        jobConf.setOutputKeyClass(LongWritable.class);
        jobConf.setOutputValueClass(Text.class);
        jobConf.setOutputFormat(TextOutputFormat.class);
        jobConf.setNumReduceTasks(0);
        //set job specific configuration details like input file name etc
        FileInputFormat.setInputPaths(jobConf, jobConf.get(ETLJobConstants.ETL_JOB_FILE_INPUT_PATH));
        System.out.println("setting output path to : " + jobConf.get(ETLJobConstants.ETL_JOB_FILE_OUTPUT_PATH));
        FileOutputFormat.setOutputPath(jobConf,
                new Path(jobConf.get(ETLJobConstants.ETL_JOB_FILE_OUTPUT_PATH)));
        JobClient.runJob(jobConf);
        return 0;
    }

Driver类扩展了Configured并实现了Tool（我使用了权威指南中的示例）以下是我的mapper类中的代码。

以下是Mapper的map方法中的代码，我只需打开与Hbase的连接，进行一些初步检查以确保表存在，然后写入行并关闭表。

    public void map(LongWritable arg0, Text arg1,
        OutputCollector<LongWritable, Text> arg2, Reporter arg3)
        throws IOException {

    HTable aTable = null;
    HBaseAdmin admin = null;

    try {
        arg3.setStatus("started");
        /*
         * set-up hbase config
         */
        admin = new HBaseAdmin(conf);
        /*
         * open connection to table
         */
        String tableName = conf.get(ETLJobConstants.ETL_JOB_TABLE_NAME);
        HTableDescriptor htd = new HTableDescriptor(toBytes(tableName));
        String colFamilyName = conf.get(ETLJobConstants.ETL_JOB_TABLE_COLUMN_FAMILY_NAME);
        byte[] tablename = htd.getName();
        /* call function to ensure table with 'tablename' exists */
        /*
         * loop and put the file data into the table
         */
        aTable = new HTable(conf, tableName);
        DataRow row = /* logic to generate data */
        while (row != null) {
            byte[] rowKey = toBytes(row.getRowKey());
            Put put = new Put(rowKey);
            for (DataNode node : row.getRowData()) {
                put.add(toBytes(colFamilyName), toBytes(node.getNodeName()),
                        toBytes(node.getNodeValue()));
            }
            aTable.put(put);
            arg3.setStatus("xoxoxoxoxoxoxoxoxoxoxoxo added another data row to hbase");
            row = fileParser.getNextRow();
        }
        aTable.flushCommits();
        arg3.setStatus("xoxoxoxoxoxoxoxoxoxoxoxo Finished adding data to hbase");
    } finally {
        if (aTable != null) {
            aTable.close();
        }
        if (admin != null) {
            admin.close();
        }
    }
    arg2.collect(new LongWritable(10), new Text("something"));
    arg3.setStatus("xoxoxoxoxoxoxoxoxoxoxoxoadded some dummy data to the collector");
}

正如你在结尾看到的那样，我正在写一些伪数据到最后的集合（10，"something"），在作业终止后，我在_success文件中看到了数百行这些数据。我不知道为什么映射程序代码会反复重新启动多次，而不是只运行一次。如有任何帮助，我们将不胜感激。

Answer 1

使用JobConf.setNumMapTasks(1)只是对hadoop说，如果可能的话，您希望使用1个映射器，而setNumReduceTasks实际上定义了您指定的数字。

这就是为什么运行了更多的映射器，并且可以观察到所有这些数字。

有关更多详细信息，请阅读这篇文章。