我是Hadoop
新手,我已经设置了一个Hadoop 2.5.1
版本的多节点Hadoop。当我使用命令运行mapreduce作业时
hadoop jar jarFile <ClassName> <InputFile> <outputDirectory> -D mapreduce.job.reduces=2 mapreduce.job.maps=5
但是当我看到输出时,我只看到一个映射器和一个化简器正在运行。
而且我看到Hadoop 2.5.1
中没有地图槽和减速槽的概念
我的文件大小是78MB
.那么,这是因为我的文件大小相当小,而且块非常低,所以只有一个映射器在运行吗?
在这方面的帮助对我来说会很棒。
谢谢和问候,斯里拉塔·
这是因为块的默认大小为 128MB,因此大小为 78M 的文件从未拆分为多个块。看到这个说默认块大小是128。
如果你想看到两个映射器,那么在$HADOOP_HOME/conf/hdfs-site中添加以下行.xml
<property>
<name>dfs.blocksize</name>
<value>64M</value>
</property>