C语言 如何将输入文件划分为碎片/文件供MapReduce使用

Question

所以我正在使用Map Reduce框架开发wordcount程序，我终于理解了它是如何工作的以及我需要实现什么。但是我很困惑如何将单个输入划分为不同的碎片，然后使用线程为每个碎片分配一个映射工作者。我知道你可以使用Linux命令split创建不同的文件，但我不明白如何从主文件

为每个文件分配一个map worker

谢谢

Answer 1

你没有。您使用的InputFormat将自动处理这个问题。