我在hadoop的配置文件中为每个节点配置(映射器/还原器的数量)。
我提交任何指定要使用的映射器/减速器数量的MR任务。
当作业的(减速器数量)超过集群容量时,预计会损失什么性能?
不能指定映射器的数量设置为运行的映射程序的数量完全取决于
- 文件大小
- 块大小
没有直接的方法来估计您的案例的性能损失。这取决于还原的类型,在很大程度上取决于数据。
例如:假设您的数据是这样的,其中一个减速器运行时间过长,那么其他减速器将完成并开始第二个减速作业。因此,可能在一次大的减排发生时完成所有的减排。