我在使用AWS CLI时遇到问题,如果我用较小的文件(<10GB)
执行s3 cp
或s3 sync
,它会正常工作,但当我用文件(>10gb)
尝试相同的命令时,它会返回1的退出状态,这意味着一些文件无法复制。
有没有办法显示/列出复制/同步失败的文件?注意:所有副本都在s3到s3之间(相同的存储桶,相同的区域,相同的ACL,只是不同的"文件夹路径"(
查看官方文档,当使用超过10gb的文件时,需要在CLI命令中指定参数--expected-size
,否则当达到默认的10000部分限制时,上载可能会失败。
大于50GB的文件示例:
aws s3 cp - s3://mybucket/stream.txt --expected-size 54760833024
我希望这对你有用。继续摇摆!。
面对一个不同的问题,这让我提出了同样的问题:有没有办法查看哪些上传失败?
根据AWS文档,您可以使用--only-show-errors
标志在命令输出中只获取失败的上传。适用于s3 cp
和s3 sync
。