Hadoop任务没有完成 - 如何调试？

Question

我有一个3节点Hadoop集群。我运行了一个mapreduce作业——其中两个节点（名称节点和一个数据节点）上的映射器正常完成——但datanode2上的映射程序启动，但大约半小时后超时。这很奇怪，因为这些事实：

1. 其他两个节点上的同类映射程序需要1到2分钟才能完成
2. 所有三个节点都使用相同的硬件
3. datanode2上的映射程序占用了接近100%的CPU，因此它们实际上正在运行

知道是什么原因导致的吗？或者如何调试它？

Answer 1

根据Hadoop架构，您可以检查DN-2的DataNode日志，如果DN-2的CPU利用率为100%，则可以确定您的程序不会在DN-2中工作。