访问MapReduce配置/统计信息以进行日志记录和分析



我们正在从map reduce作业中收集统计数据。我们将对某些事情使用计数器,但我想知道是否有某种方法可以访问Web UI上的统计信息,例如插入的行、读取/写入的字节等,这样我们就可以将它们推到数据库中以供稍后检查。

Web UI是如何收集所有这些数据的?我们是否可以在不解析下载的报表html视图的情况下使用这些收集的数据?比如作业输出的文件?

以下是访问作业计数器的教程。以下是获取给定jobid的计数器的代码。

JobId JobId=新的JobId("12345",0)
Cluster Cluster=new Cluster(new Configuration());

作业作业=cluster.getJob(jobId)
计数器计数器=job.getCounters();

计数器计数器=counters.findCounter(JobCounter.NUM_FAILED_REDUCES)
long failedTasks=计数器.getValue();

一旦检索到计数器,就将它们放在DB中并在UI中显示。

除了用户定义的计数器JobCounter和TaskCounter是Hadoop定义的一些计数器。

相关内容

  • 没有找到相关文章

最新更新