计算MAPREDUCE中的输入拆分



一个文件存储在大小 260 mb 的HDF中,而HDFS默认块大小为 64 MB 。在对此文件执行MAP-REDUCE作业后,我发现其创建的输入拆分数量仅为 4 。它是如何计算的?其余的 4 MB 在哪里?任何输入都非常感谢。

输入拆分并不总是一个块大小。输入拆分是数据的逻辑表示。您的输入拆分可能是63MB,67MB,65MB,65MB(或可能是基于逻辑记录的尺寸的其他尺寸(...请参见下面的链接中的示例...

hadoop输入拆分大小与块大小

另一个示例 - 请参见第3.3节...

最新更新