可以在单独的罐子上映射和还原器

Question

在MapReduce作业中，我知道Job Runner类本身可以居住在单独的JAR中，而不是映射器和还原器（检查此答案）setjarbyClass是我通过的作业中的位置，该位置是单独的JAR信息。但是，有没有办法将映射器和还原器在自己的单独罐子中？

中

10x！

Answer 1

是的，可以在单独的罐子中使用映射器和还原器。

我过去所做的为启用这一点是：

1. 将包含映射器和还原器的所需罐子放在Hadoop_classpath环境变量上
2. 如果使用hadoop toolrunner，通过-libjars选项将包含映射器和还原器的罐子提供给hadoop分布式缓存，如果驱动程序jar中未包含映射器/还原器。
。
3. 用适当的Java Class Loader手动将映射器和还原类加载到运行时类路径