dfs有什么影响?blocksize,文件.blocksize kf.块大小等在hadoop mapreduce作业中都

Question

当我检查hadoop(0.21.0版本)mapreduce作业的job.xml文件时，我发现存在多个blocksize设置:

• dfs.blocksize = 134217728(即128MB)
• file.blocksize = 67108864(即64MB)
• kfs.blocksize = 67108864
• s3.blocksize = 67108864
• s3native.blocksize = 67108864
• ftp.blocksize = 67108864

我期待一些答案来解释以下相关问题:

1. dfs, file, kfs, s3等在这种情况下意味着什么?
2. 它们之间有什么区别?
3. 它们在运行mapreduce作业时有什么影响?

非常感谢!

Answer 1

Map reduce可以处理存储在不同类型存储系统上的数据。上面的设置是所使用的存储技术的默认块大小。dfs(分布式文件系统)是我们在hadoop中常用的，默认块大小为128MB。其他设置为file(本地)，kfs(kosmos分布式文件系统)，s3(amazon云存储)和ftp(ftp服务器上的文件)。

您可以进一步研究它们以更好地理解它们并将它们与hadoop特性一起使用。在运行map reduce作业时，针对正在使用的特定存储技术的设置将根据块大小进行标识。希望对大家有所帮助。