当作业的(减速器数量)超过集群容量时,预计会损失什么性能

  • 本文关键字:容量 性能 损失 减速器 作业 hadoop
  • 更新时间 :
  • 英文 :


我在hadoop的配置文件中为每个节点配置(映射器/还原器的数量)。

我提交任何指定要使用的映射器/减速器数量的MR任务。

当作业的(减速器数量)超过集群容量时,预计会损失什么性能?

不能指定映射器的数量设置为运行的映射程序的数量完全取决于

  1. 文件大小
  2. 块大小

  • 没有直接的方法来估计您的案例的性能损失。这取决于还原的类型,在很大程度上取决于数据。

    例如:假设您的数据是这样的,其中一个减速器运行时间过长,那么其他减速器将完成并开始第二个减速作业。因此,可能在一次大的减排发生时完成所有的减排。

  • 最新更新