>我正在尝试将Hadoop Map-Reduce作业从CDH3u4集群提交到在CDH4.3上运行的集群。（fs.default.name 和mapred.job.tracker配置参数设置为指向 CDH4.3 集群）。以下是堆栈跟踪。
1） 我们可以将 hadoop 作业提交到处理不同版本的远程集群吗？2）有解决方法吗？
哈多普罐 独立.jar
Exception in thread "main" org.apache.hadoop.ipc.RemoteException: Server IPC version 7 cannot communicate with client version 4
at org.apache.hadoop.ipc.Client.call(Client.java:1107)
at org.apache.hadoop.ipc.RPC$Invoker.invoke(RPC.java:226)
at $Proxy0.getProtocolVersion(Unknown Source)
at org.apache.hadoop.ipc.RPC.getProxy(RPC.java:398)
at org.apache.hadoop.ipc.RPC.getProxy(RPC.java:384)
at org.apache.hadoop.hdfs.DFSClient.createRPCNamenode(DFSClient.java:129)
at org.apache.hadoop.hdfs.DFSClient.<init>(DFSClient.java:255)
at org.apache.hadoop.hdfs.DFSClient.<init>(DFSClient.java:217)
at org.apache.hadoop.hdfs.DistributedFileSystem.initialize(DistributedFileSystem.java:89)
at org.apache.hadoop.fs.FileSystem.createFileSystem(FileSystem.java:1563)
at org.apache.hadoop.fs.FileSystem.access$200(FileSystem.java:67)
at org.apache.hadoop.fs.FileSystem$Cache.getInternal(FileSystem.java:1597)
at org.apache.hadoop.fs.FileSystem$Cache.get(FileSystem.java:1579)
at org.apache.hadoop.fs.FileSystem.get(FileSystem.java:228)
at org.apache.hadoop.fs.FileSystem.get(FileSystem.java:111)
at com.poc.standalone.HDFSRemoteAccess.main(HDFSRemoteAccess.java:43)
at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:39)
at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:25)
at java.lang.reflect.Method.invoke(Method.java:597)
at org.apache.hadoop.util.RunJar.main(RunJar.java:197)
您需要
将HADOOP_PREFIX环境变量设置为指向安装了Hadoop2.X.X版本的目录。
例如
export HADOOP_PREFIX=pathtohadoop-2.2.0
我在
尝试连接到hdfs时遇到了这个异常。我使用的是 cdh4.6 版本。
我已经通过添加 cloudera mvn 依赖项解决了这个问题。您可以在此处找到依赖项列表。
首先，您应该检查您的依赖项。
另一点是你应该尝试使用 fs.deafultFS config 参数而不是（或旁边）fs.default.name 参数，因为 cdh4X 中已弃用 fs.default.name
1）您应该具有两个版本的依赖项，并且可以在它们之间切换。
2）看看这里以保留不同版本的依赖项。