改组阶段实际上是什么?
可能性-A
随着改组是将映射器o/p带到还原器O/p的过程,它只是根据分区中编写的代码将特定键从映射器带到特定的还原器
例如。映射器1的o/p是{a,1} {b,1}
映射器2的O/P是{a,1} {b,1}
,在我的分区者中,我写了所有以" A"开头的密钥,将转到reducer 1,所有以'b开头的键都将转到reducer 2,因此O/P是:
还原1:{a,1} {a,1}
还原2:{b,1} {b,1}
可能性-B
或与HE上述过程一起,是否也分组键:
因此,O/P是:
还原1:{a,[1,1]}
还原2:{b,[1,1]}
我认为,我认为应该是一个,因为排序后必须进行键的分组,因为排序仅完成,以便降低器可以轻松地指出一个键何时结束并且另一个键正在启动。如果是,键的分组实际上是何时发生的,请详细说明。
映射器和还原器不是单独的计算机,而是单独的代码。两者,映射代码以及还原代码都在集群中存在的同一集合机上运行。
因此,群集中的所有机器都均已运行映射器,结果为:
- 在节点上本地的bin(认为它是"本地组"(;而且,
- 在群集上的所有节点上洗牌/重新分布。
考虑步骤2一个"全局组",因为它以一个属于一个键的所有值完成,转到其分配的唯一节点。
。现在,节点在存储在其内存上的(键,值(对上运行还原代码。