Hadoop MapReduce Jobs:获取本机 jvm 之外的计数器

Question

我对Hadoop和Hbase很陌生。

我的用例非常简单：我想在运行时获取作业的计数reduce input groups（即从启动到终止作业更新计数器）。

到目前为止我搜索的内容：所有与作业相关的日志都写在目录/var/log/hadoop/userlogs下，如下所示：

[root@dev1-slave1 userlogs]# pwd
/var/log/hadoop/userlogs
[root@dev1-slave1 userlogs]# ll
total 24
drwx--x--- 2 mapred mapred 4096 Jan 13 19:59 job_201501121917_0008
drwx--x--- 2 mapred mapred 4096 Jan 13 11:31 job_201501121917_0009
drwx--x--- 2 mapred mapred 4096 Jan 13 12:01 job_201501121917_0010
drwx--x--- 2 mapred mapred 4096 Jan 13 12:13 job_201501121917_0011
drwx--x--- 2 mapred mapred 4096 Jan 13 12:23 job_201501121917_0012
drwx--x--- 2 mapred mapred 4096 Jan 13 19:59 job_201501121917_0013

在每个job下，都有诸如attempt_201501121917_0013_m_000000_0（映射器日志）和attempt_201501121917_0013_r_000000_0（化简器日志）之类的目录。

化简器日志目录attempt_201501121917_0013_r_000000_0包含syslog其中包含有关作业运行的信息。但它不显示有关计数器的任何信息。

从hadoop的jobtracker UI中，我可以看到计数器reduce input groups正在更新，直到作业完成，但我在其他地方找不到相同的计数器。

我怎样才能做到这一点？是否有任何Java API可以在另一个应用程序中获取作业计数器（而不是在执行mapreduce任务的应用程序中）？

我应该查看的任何其他日志或其他文件？

我希望我的要求是明确的。

更新：

Hadoop

版本：Hadoop 1.0.3-Intel

Answer 1

假设您知道您的作业 id，您可以按 id 查找您的作业（我认为在有限的时间内，具体取决于您的集群清理作业历史记录的速度）。

public long getInputGroups(String jobId, Configuration conf) {
    Cluster cluster = new Cluster(conf);
    Job job = cluster.getJob(JobID.forName(jobId));
    Counters counters = job.getCounters();
    Counter counter = counters.findCounter("org.apache.hadoop.mapred.Task$Counter","REDUCE_I‌​NPUT_GROUPS");
    return counter.getValue();
}

有关更多阅读，请参阅 Hadoop： The Definitive Guide。

Answer 2

我以不同的方式找到了问题的答案。

以下是代码：

import org.apache.hadoop.mapred.JobClient;
import org.apache.hadoop.mapred.JobStatus;
import org.apache.hadoop.conf.Configuration;
import java.net.InetSocketAddress;
import org.apache.hadoop.mapred.Counters;
import org.apache.hadoop.mapred.ClusterStatus;
import org.apache.hadoop.mapreduce.Counter;
import org.apache.hadoop.mapred.*;
public class jobclienttest{
        public static void main(String args[]){
                String jobTrackerHost = "192.168.151.14";
                int jobTrackerPort = 54311;
                try{
                        JobClient jobClient = new JobClient(new InetSocketAddress(jobTrackerHost, jobTrackerPort), new Configuration());
                        JobStatus[] activeJobs = jobClient.jobsToComplete();
                        for(JobStatus js: activeJobs){
                                System.out.println(js.getJobID());
                                RunningJob runningjob = jobClient.getJob(js.getJobID());
                                Counters counters = runningjob.getCounters();
                                Counter counter = counters.findCounter("org.apache.hadoop.mapred.Task$Counter","REDUCE_INPUT_GROUPS");
                                System.out.println(counter.getValue());
                        }
                }catch(Exception ex){
                        ex.printStackTrace();
                }
        }
}

该代码是不言自明的。类名不言自明。

编译：

javac -classpath /usr/lib/hadoop/hadoop-core.jar:/usr/lib/hadoop/lib/jackson-core-asl-1.8.8.jar:/usr/lib/hadoop/lib/jackson-mapper-asl-1.8.8.jar:/usr/lib/hadoop/lib/commons-logging-1.1.1.jar:/usr/lib/hadoop/lib/commons-configuration-1.6.jar:/usr/lib/hadoop/lib/commons-lang-2.4.jar:. jobclienttest.java

跑：

java -classpath /usr/lib/hadoop/hadoop-core.jar:/usr/lib/hadoop/lib/jackson-core-asl-1.8.8.jar:/usr/lib/hadoop/lib/jackson-mapper-asl-1.8.8.jar:/usr/lib/hadoop/lib/commons-logging-1.1.1.jar:/usr/lib/hadoop/lib/commons-configuration-1.6.jar:/usr/lib/hadoop/lib/commons-lang-2.4.jar:. jobclienttest

这给出了计数器的输出。

Answer 3

您也可以从命令行获取计数器，而无需编写任何 Java：

hadoop job -counter job_id group_name counter_name

或（对于较新版本）

mapred job -counter job_id group_name counter_name