DistCP -即使是简单的拷贝也会导致CRC异常

Question

我遇到了一个问题，使用distcp复制文件-每次复制失败与IO异常(校验和不匹配)，即使在集群内执行一个简单的复制(即hadoop distcp -pbugctrx /foo/bar /foo/baz)。

如果强制使用-skipcrccheck完成复制，我可以看到校验和不同(hdfs dfs -checksum)，但这不是由实际源数据的差异引起的(hdfs dfs -cat | md5sum返回源和目标的匹配校验和)。

如果不需要禁用数据完整性检查，我对禁用数据完整性检查持怀疑态度。有没有更好的方法来解决这个失败的检查，而不是仅仅忽略它。

Answer 1

源和目标可能在不同的加密区域。在这种情况下，校验和也会失败