将 Amazon s3 存储桶文件夹复制到本地

Question

我有这个链接：

s3://some_path/200_files/*.gz

我有相应的访问ID和密钥。如何将完整的文件夹(200_files(或所有.gz复制到本地系统？基于 Ubuntu CLI或Python的解决方案。我知道这不是一个合格的问题，评论中的答案会起作用。谢谢:)

Answer 1

要将 S3 存储桶中的所有对象复制到本地计算机，只需使用带有--recursive选项的 awss3 cp命令即可。

请参阅：http://bigdatums.net/2016/09/04/copy-all-files-in-s3-bucket-to-local-with-aws-cli/

要设置凭据：

mkdir ~/.aws
touch credentials

~/.aws/凭据(示例内容(

[default]
aws_access_key_id=AKIAIOSFODNN7EXAMPLE
aws_secret_access_key=wJalrXUtnFEMI/K7MDENG/bPxRfiCYEXAMPLEKEY

更多配置在这里