在第二次 MR 期间未创建文件

Question

我有一个算法的Hadoop实现。

我在Eclipse中这样做：当我在 eclipse 中运行时，我的算法工作正常并创建必要的文件和输出。

Algorithm
       |
       |___creates a file0.txt file.
       |
       |___creates a file1.txt file.
       |
       |___creates a file3.txt file.
       |
       |___creates a file4.txt file.
       |
       |___creates a file5.txt file.
       |
       |___creates a file6.txt file.
       |
       |___creates a file7.txt file.

完成作业。当我在 Hadoop 集群中尝试我的程序时，除了 file0.txt所有其他文件都没有从化简器阶段hdfs创建。

是否有人经历过这个问题。

请帮忙。源

日食的输出

集群输出

Answer 1

输出文件由驱动程序代码指定，与 MR 作业无关。请检查您的驱动程序代码或在此处分享

Answer 2

你的问题有点令人困惑。我所了解的是，您有 413 字节长的文件，并且您正在尝试运行 7 个 MR 作业。那么，你是说你有 7 对映射器和化简器类，你想在那个 413 字节的文件上运行吗？你再次提到了my algorithm runs different MR jobs depending upon the data sets，所以我只能假设数据集只能由一对映射器-Reducer类使用。您是否验证了数据集是否满足映射器-化简器对 1,3,4,5,6,7 的条件，

所有这些映射器-化简器对是否使用相同的输出文件夹... ？这可能也是一个大问题。

请回答他们，那么我可能会帮忙。