我将hadoop 1.0.3与java oracle7-当我在近1.5GB大小的大数据中运行字数统计代码时,仅在复制步骤中就需要很长时间才能将到达时间减少到10个小时或更长时间。具有16个节点的系统;每个节点具有一个naster和15个从节点:集群摘要如下:
Configured Capacity: 2.17TB
DFS Used: 4.23GB
Non DFS USed:193.74GB
DFS Remaining: 1.98TB
DFS Used%: .19%
DFS Remaining%: 91.09%
Live Nodes: 16
Dead Nodes: 0
Decomissioned Nodes: 0
Number of Under Replicated Blocks: 0
减速器输出
我试着用29个映射器和1个减速器,16个减速器、35个减速器和56个减速器。。。问题是相同的,并且出现错误"获取失败次数过多"
使用了多少映射器和减速器
看起来您使用的减速器数量非常少
如果减速器数量较少,则会观察到性能较差
您需要根据上下文和可用工作节点的数量来配置映射器和还原器。