Mapreduce如何共享全局const变量



如何允许所有映射器访问一个变量,例如TreeMap对象,而不需要每个映射器每次都重新构建TreeMap ?对象一旦被构造,就不会再被修改。

考虑将TreeMap对象的内容放在Distributed Cache对象中。如果数据量很小,可以将对象内容放在配置对象中:

conf.set("key", "value");

然后使用JobConf对象在映射器中访问它。

最新更新