Hadoop:MapReduce:节点选择



我有三个机架服务器,每个服务器从节点 1 到节点 15 有五个节点,我写了一个文件文件.txt它分为四个数据块 A、B、C、D,并存放在节点 1(包含块 A,B)和节点 11(包含块 C,D)中。作业跟踪器为节点 1 和 11 的任务跟踪器提供在其本地块中执行映射任务的代码。

我的问题是:

    作业
  1. 跟踪器如何决定必须在哪个节点执行缩减作业。是因为机架意识吗?

  2. 在节点 2、节点 6 和节点 12 中,哪个节点是执行 reduce 任务的最佳节点,让我们假设节点当前未被任何任务占用?

  3. 在节点
  4. 上的映射任务结束后,是否可以在节点 1 或节点 11 中的任何一个上执行 reduce 任务。

提前谢谢。

1)作业跟踪器可以选择节点1或节点11来执行Reduce操作,它可以选择需要较少数据传输的节点。

2) 节点 2 或节点 12 中的任何一个

3)是的。要启动 Reduce 操作,需要将所有映射输出复制到要执行 reduce 操作的节点。因此,一旦节点 1 和节点 11 映射函数完成,作业跟踪器可能会在节点 1 或节点 11 上启动归约操作。

希望这有帮助。

最新更新