将Hadoop分布式缓存中的小文件合并为大文件

Question

我有很多需要分发的小文件(大小约1MB)。众所周知，Hadoop和HDFS更喜欢大文件。但我不知道这是否也可以应用于分布式缓存，因为分布式文件存储在本地机器上。

如果需要合并文件，在HDFS上以编程方式合并文件的最好方法是什么?

还有一个问题:使用symlink的好处是什么?由于

Answer 1

您可以创建所有小文件的归档文件(tar或zip)，并将其添加到分布式缓存中，如下所示:

DistributedCache.addCacheArchive(new URI("/myapp/myzip.zip", job);

在你的mapper/reducer中获取文件，如下所示:

public void configure(JobConf job) {
         // Get the cached archives/files
         File f = new File("./myzip.zip/some/file/in/zip.txt");
       }

点击这里阅读更多

Answer 2

这是Cloudera关于小文件问题的博客