在 map-reduce 任务之间共享全局数组

Question

我需要在所有map和reduce任务中保留一个全局字符串数组，每个任务都可以在运行时更新。

是否可以在 hadoop 1.2.1 中做到这一点？

据我了解，计数器仅适用于 long 类型，分布式缓存文件是只读的。

如果有人可以为这个问题提供指示，那就太好了。

谢谢！

Answer 1

你真的不应该在map-reduce程序中有共享变量。

但是，如果您真的需要它，请查看动物园管理员，它是一个分布式协调服务，是Hadoop生态系统的核心部分。您可以使用它来存储任何类型的共享数据，包括字符串数组。