由于某种原因,我的减速器超时了。我尝试-Dmapred.task.timeout来更改超时,但超时值似乎没有改变。此外,我无法通过命令行配置映射器和减速器的数量。我的日志似乎很清楚,任务跟踪器超时了。我确实调用了外部web服务,但这不是超时的原因。如果输入文件中的数据点数量减少,我不会经常看到这些超时。
调整mapred-site.xml
中的mapred.task.timeout
(值为毫秒)。
确保其在所有节点(jobtracker+tasktrackers)上更新,并重新启动jobtracker
和所有tasktrackers
。