我已经成功完成了我在 Amazon EMR 上的工作，现在我想将结果从HDFS复制到S3，但我有一些问题
这是代码(--步骤)
{
"Name":"AAAAA",
"Type":"CUSTOM_JAR",
"Jar":"command-runner.jar",
"ActionOnFailure":"CONTINUE",
"Args": [
"s3-dist-cp",
"--src", "hdfs:///seqaddid_output",
"--dest", "s3://wuda-notebook/seqaddid"
]
}
这是日志：
2019-04-12 03：01：23,571 INFO com.amazon.elasticmapreduce.s3distcp.S3DistCp (main)： 运行与参数： -libjars/usr/share/aws/emr/s3-dist-cp/lib/commons-httpclient-3.1.jar，/usr/share/aws/emr/s3-dist-cp/lib/commons-logging-1.0.4.jar，/usr/share/aws/emr/s3-dist-cp/lib/guava-18.0.jar，/usr/share/aws/emr/s3-dist-cp/lib/s3-dist-cp-2.10.0.jar，/usr/share/aws/emr/s3-dist-cp/lib/s3-dist-cp.jar --src hdfs:///seqaddid_output/--dest s3：//wuda-notebook/塞卡迪德 2019-04-12 03：01：24,196 INFO com.amazon.elasticmapreduce.s3distcp.S3DistCp (main)： S3DistCp args： --src hdfs:///seqaddid_output/--dest s3：//wuda-notebook/seqaddid 2019-04-12 03：01：24,203 INFO com.amazon.elasticmapreduce.s3distcp.S3DistCp (main)： 使用输出路径 'hdfs：/tmp/4f93d497-fade-4c78-86b9-59fc3da35b4e/output' 2019-04-12 03：01：24,263 INFO com.amazon.elasticmapreduce.s3distcp.S3DistCp (main)： GET http://169.254.169.254/latest/meta-data/placement/availability-zone 结果： us-east-1f 2019-04-12 03：01：24,664 FATAL com.amazon.elasticmapreduce.s3distcp.S3DistCp (main)： 无法获取源文件系统 java.io.FileNotFoundException： File not exist： hdfs：/seqaddid_output at org.apache.hadoop.hdfs.DistributedFileSystem$27.doCall(DistributedFileSystem.java：1444) at org.apache.hadoop.hdfs.DistributedFileSystem$27.doCall(DistributedFileSystem.java：1437) at org.apache.hadoop.fs.FileSystemLinkResolver.resolve(FileSystemLinkResolver.java：81) at org.apache.hadoop.hdfs.DistributedFileSystem.getFileStatus(DistributedFileSystem.java：1452) at com.amazon.elasticmapreduce.s3distcp.S3DistCp.run(S3DistCp.java：795) at com.amazon.elasticmapreduce.s3distcp.S3DistCp.run(S3DistCp.java：705) at org.apache.hadoop.util.ToolRunner.run(ToolRunner.java：76) at org.apache.hadoop.util.ToolRunner.run(ToolRunner.java：90) at com.amazon.elasticmapreduce.s3distcp.Main.main(Main.java：22) at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method) at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java：62) at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java：43) at java.lang.reflect.Method.invoke(Method.java：498) at org.apache.hadoop.util.RunJar.run(RunJar.java：234) at org.apache.hadoop.util.RunJar.main(RunJar.java：148)
看起来该错误是由CopyFilesReducer使用多个CopyFilesRable实例从S3下载文件时的竞争条件引起的。问题是它在多个线程中使用相同的临时目录，并且线程在完成后会删除临时目录。因此，当一个线程在另一个线程之前完成时，它会删除另一个线程仍在使用的临时目录。
我已经向 AWS 报告了这个问题，但与此同时，您可以通过在作业配置中将变量s3DistCp.copyfiles.mapper.numWorkers设置为 1 来强制化简器使用单个线程来解决该错误。
好吧，我在复制时遇到了同样的问题，问题是因为我没有为主路径添加完整路径。
我和你一样做：
s3-dist-cp --src hdfs:///my_path/ --dest s3://my_mucket --srcPattern .*.parquet
我得到了和你完全相同的错误。 解决方案是为 hdfs 路径添加完整路径：
s3-dist-cp --src hdfs:///user/hadoop/my_path/ --dest s3://my_mucket --srcPattern .*.parquet