在Amazon S3上一次更新多个文件的扩展名



我的S3桶上有大约100万个文件,不幸的是,这些文件上传的扩展名错误。我需要为该桶中的每个文件添加一个'.gz'扩展名。

我可以管理这样做通过使用aws cli: aws s3 mv bucket_name/name_1 bucket_name/name_1.gz

这个工作得很好,但是脚本运行得很慢,因为它一个接一个地移动文件,在我的计算中,它将花费长达1周的时间,这是不可接受的。

我想知道我们是否有更好更快的方法来实现这个目标?

你可以试试S3浏览器,它支持多线程调用。http://s3browser.com/

我怀疑其他工具也可以做多线程,但CLI没有。

S3文件/桶没有重命名功能,所以您需要移动或复制/删除文件。如果文件很大,它确实会有点慢。

然而,没有什么可以阻止你等待一个请求完成,继续"重命名"列表中的下一个文件,只是处理它。

最新更新