没有Hadoop的地图减少

Question

我是Map reduce程序的新手。我想知道我是否可以在不使用Hadoop的情况下将mapreduce程序作为普通的Java程序运行。我应该包括哪些所有库？可能吗？

Answer 1

这是可能的，但你需要从map-->SS-->Reduce开始编写每一端的代码块。Tobe非常简单的hadoop是一个建立在提供大量API来运行mapreduce作业的框架之上。它将负责从文件传递输入，Suffle和排序，然后减少功能。您只需要了解 haddop 的各种 API 以及它所包含的数据流。