我可以在map reduce中用JAVA编写我自己的自定义静态方法吗?我可能想为进入我的映射程序的每个键值对调用该方法?
你可以做这样的事情,而我一直都在做。您调用的方法可以是静态的,也可以不是静态的。
基本上:
如果您从包含在项目中的自己编写的代码中调用外部代码,则在将项目导出到.jar文件时,需要将其与代码捆绑在一起。
如果您正在引用项目构建路径中包含的.jar文件中的方法等,则需要将该.jar文件放置在集群中运行作业的每个节点上,并在文件$HADOOP_HOME/conf/HADOOP-env.sh中编辑服务器上的HADOOP_CLASSPATH变量,然后重新启动集群。否则,您将得到一个未找到类的错误。
一个例子是:
export HBASE_CLASSPATH=/path/to/one/file.jar:/path/to/another/file.jar
是的,你可以做到。(我必须输入额外的字符才能提交这个答案,所以忽略这句话)