我一直在我的项目中使用Spring data hadoop，并且能够在hadoop
1.x中运行distcp作业。 最近我们升级到了hadoop 2.x，为此我将spring-data-hdoop升级到2.0.4。大多数东西仍在工作，但我遇到了一些 distcp 问题。似乎春天的数据哈多普像这样调用distcp
Class<org.apache.hadoop.tools.DistCp> cl = org.apache.hadoop.tools.DistCp.class;
Class<?> argClass = ClassUtils.resolveClassName("org.apache.hadoop.tools.DistCp$Arguments",
cl.getClassLoader());
https://github.com/spring-projects/spring-hadoop/blob/2.0.4.RELEASE/spring-hadoop-core/src/main/java/org/springframework/data/hadoop/fs/DistCp.java#L274-L275
请注意，Spring 代码正在Distcp类中查找Arguments内部类，但这个内部类在较新的 Distcp 代码中似乎不再存在。当我运行作业时，出现此错误
Caused by: java.lang.IllegalStateException: Cannot run distCp impersonated as 'null'
at org.springframework.data.hadoop.fs.DistCp.copy(DistCp.java:268) ~[spring-data-hadoop-core-2.0.4.RELEASE.jar:2.0.4.RELEASE]
at org.springframework.data.hadoop.fs.DistCp.copy(DistCp.java:216) ~[spring-data-hadoop-core-2.0.4.RELEASE.jar:2.0.4.RELEASE]
at org.springframework.data.hadoop.fs.DistCp.copy(DistCp.java:152) ~[spring-data-hadoop-core-2.0.4.RELEASE.jar:2.0.4.RELEASE]
at com.att.hadoop.hdfspub.source.hdfs.HdfsFileCopier.copyFolder(HdfsFileCopier.java:104) ~[classes/:na]
... 45 common frames omitted
Caused by: java.lang.IllegalArgumentException: Cannot find class [org.apache.hadoop.tools.DistCp$Arguments]
at org.springframework.util.ClassUtils.resolveClassName(ClassUtils.java:286) ~[spring-core-4.1.4.RELEASE.jar:4.1.4.RELEASE]
at org.springframework.data.hadoop.fs.DistCp.invokeCopy(DistCp.java:275) ~[spring-data-hadoop-core-2.0.4.RELEASE.jar:2.0.4.RELEASE]
at org.springframework.data.hadoop.fs.DistCp.copy(DistCp.java:265) ~[spring-data-hadoop-core-2.0.4.RELEASE.jar:2.0.4.RELEASE]
... 48 common frames omitted
Caused by: java.lang.ClassNotFoundException: org.apache.hadoop.tools.DistCp$Arguments
在我的pom中.xml我包含了spring-data-hadoop 2.0.4.RELEASE和hadoop-distcp.2.2.0。
这在最近的 2.1 RC1 版本中已经得到解决，我们还没有考虑将其向后移植到 2.0.x 分支。如果你想尝试使用 2.1.0.RC1 版本，你需要在你的构建中包含 Spring IO 存储库 - 请参阅项目页面的快速入门部分 - http://projects.spring.io/spring-hadoop/