改组阶段实际上是什么



改组阶段实际上是什么?


可能性-A

随着改组是将映射器o/p带到还原器O/p的过程,它只是根据分区中编写的代码将特定键从映射器带到特定的还原器

例如。映射器1的o/p是{a,1} {b,1}

映射器2的O/P是{a,1} {b,1}

,在我的分区者中,我写了所有以" A"开头的密钥,将转到reducer 1,所有以'b开头的键都将转到reducer 2,因此O/P是:

还原1:{a,1} {a,1}

还原2:{b,1} {b,1}


可能性-B

或与HE上述过程一起,是否也分组键:

因此,O/P是:

还原1:{a,[1,1]}

还原2:{b,[1,1]}


我认为,我认为应该是一个,因为排序后必须进行键的分组,因为排序仅完成,以便降低器可以轻松地指出一个键何时结束并且另一个键正在启动。如果是,键的分组实际上是何时发生的,请详细说明。

映射器和还原器不是单独的计算机,而是单独的代码。两者,映射代码以及还原代码都在集群中存在的同一集合机上运行。


因此,群集中的所有机器都均已运行映射器,结果为:

  1. 在节点上本地的bin(认为它是"本地组"(;而且,
  2. 在群集上的所有节点上洗牌/重新分布。

考虑步骤2一个"全局组",因为它以一个属于一个键的所有值完成,转到其分配的唯一节点。

现在,节点在存储在其内存上的(键,值(对上运行还原代码。

相关内容

  • 没有找到相关文章

最新更新