随机播放错误:超出 max_failed_unique_matche:纾困



我是Hadoop的新手,我正在尝试执行字数示例。我的计算机上有一个由虚拟机创建的 4 个节点的群集。每次作业完成映射任务时,但大约 16% 的时间减少任务都会显示此错误:

随机播放错误:超出MAX_FAILED_UNIQUE_FETCHES;救助。

24-12-05 04:43:12 警告映射。作业客户端:读取任务输出机器3-虚拟框时出错

看起来从属服务器无法从其他从站检索数据。在某些链接上,我发现它可能是由于/etc/hosts 文件中的不一致而出现的。但是我已经交叉检查了它们,它们都是一致的。谁能帮我

是否有防火墙阻止常见 Hadoop 端口上的群集节点之间的通信(在本例中,任务跟踪器为 50060)。通过在端口 50060 上从一个节点到另一个节点执行 curl 进行测试,并检查是否获得 http 响应代码:

curl -I http://node1:50060/

请务必将上述中的"node1"替换为$HADOOP_HOME/conf/slaves文件中的每个值

编辑 所以事实证明这很可能是一个DNS问题,这是你应该尝试的:

  • 检查${HADOOP_HOME}/conf/slaves文件 - 此处的每个条目都需要位于群集中每个节点的/etc/hosts 文件中,或者必须将它们放在网络 DNS 服务器中
  • 在群集中的每个节点上断言主机文件(或配置DNS服务器)后,登录到每个节点并检查是否可以按从属文件中的名称ping其他群集节点。最后断言您可以将任务跟踪器(端口 50060)从每个节点卷曲到其他节点(再次使用 slaves 文件中的机器名称)
  • 为了安全起见,重新启动您的mapreduce服务。

通过在终端中键入$hostname来检查每个节点中的主机名。确保您获得相同的机器名称(主节点中的主节点和从节点中的从属节点)。如果没有,请将/etc/hostname 更改为您的节点名称(主/从)。然后重新启动系统。它会起作用。

简单组

相关内容

  • 没有找到相关文章

最新更新