HDFS文件位置/副本放置提示



在创建某些文件期间,有什么方法可以告诉HDFS我想在哪里获得文件副本吗?好吧,我知道这可能只是一个暗示,在任何情况下都不能保证。非常感谢。

为什么我需要这个?我有MapReduce作业(实际上是它们的链),由于我可以控制输入拆分位置,我希望以前的作业减少器能够考虑下一个作业映射器"最可能"的位置。这是解决我问题的另一种方法。有什么想法吗?

这应该是可能的。它允许您编写Java代码,指定HDFS应该如何分配文件块的副本。

HTH

最新更新