即使我更改为 5 个映射器和 2 个化简器,也只有一个映射器和化简器在运行



我是Hadoop新手,我已经设置了一个Hadoop 2.5.1版本的多节点Hadoop。当我使用命令运行mapreduce作业时

hadoop jar jarFile <ClassName> <InputFile> <outputDirectory> -D mapreduce.job.reduces=2 mapreduce.job.maps=5

但是当我看到输出时,我只看到一个映射器和一个化简器正在运行。

而且我看到Hadoop 2.5.1中没有地图槽和减速槽的概念

我的文件大小是78MB.那么,这是因为我的文件大小相当小,而且块非常低,所以只有一个映射器在运行吗?

在这方面的帮助对我来说会很棒。

谢谢和问候,斯里拉塔·

这是因为块的默认大小为 128MB,因此大小为 78M 的文件从未拆分为多个块。看到这个说默认块大小是128。

如果你想看到两个映射器,那么在$HADOOP_HOME/conf/hdfs-site中添加以下行.xml

<property>
   <name>dfs.blocksize</name>
   <value>64M</value>
</property>

相关内容

  • 没有找到相关文章

最新更新