纱线时间线服务和MR2历史服务器有什么区别



在hadoop2中,有用于纱线的时间线服务和MRV2历史服务器,那么它们之间有什么区别呢?独立时间线服务的主要用途是什么?

随着Hadoop从MapReduce转移到其他执行引擎(Spark,Tez,Flink),设计时考虑MapReduce的Job History服务器不再工作。作业历史记录服务器还仅提供有关已完成作业的统计信息,并且具有/具有可伸缩性问题。应用程序时间轴服务器(ATS)解决了这些问题,并引入了flow的概念,即一系列作业被视为一个实体而不是一组作业(MapReduce)。

无论如何,这是初衷。 您可以在官方文档中阅读更多信息,JIRA 包含多个设计文档。

引用

  • YARN 时间轴服务器
  • YARN 时间轴服务 v.2
  • YARN-5355: 纱线时间轴服务 v.2: alpha 2
  • YARN-2928: 纱线时间轴服务 v.2: alpha 1
  • YARN-1530: [伞形] 存储、管理和提供每个框架的应用程序时间线数据 这包括原始应用程序时间线设计方案。

最新更新