如何将数组输入到地图缩减作业

Question

我有一个不断检索一些数据的服务。我正在将此数据转储到数组中，此数据必须进一步处理。是否可以创建一个由服务不断更新的动态数组，并且可以并排执行 Map Reduce 作业？另外，我如何使用什么类来简单地获取数组输入（而不是文件）？PS 我是Hadoop/Map Reduce的新手我正在用Java编码。

Answer 1

Hadoop用于批处理，因此只有当您存储了文件等数据并且需要处理并且作业完成时，它才具有强大的功能。你可以看看风暴。我认为它会更适合您的用例。