我有一个S3存储桶装载,作为一个带有S3FS的EC2实例中的卷。我已经用PHP创建了一个超过20GB的目录结构。
到目前为止,S3FS正在耗尽实例内存,上传速度非常慢,所以我想将所有文件移动到连接到同一实例的EBS。
我尝试过S3CMD,但由于S3FS在bucket中创建了与目录同名的零大小对象,因此存在一些不兼容之处。
还尝试编写一个脚本,跳过那些零大小的对象递归复制结构。
没有任何效果。
有人试过这样做吗?提前感谢您的帮助。
@hernangarcia不要让事情变得复杂,使用递归的wget,wget-r后面跟着bucket端点的url。您可以将所有内容下载到EBS卷。此外,我的建议是不要将所有类似20 GB的文件存储在实例的根卷上,而是将另一个卷连接到该卷,然后将所有这些文件存储在该额外的卷中,如果您有一个高IOPS卷,则操作会更快。