如何使用s3fs将文件和目录从S3存储桶装载复制到EBS



我有一个S3存储桶装载,作为一个带有S3FS的EC2实例中的卷。我已经用PHP创建了一个超过20GB的目录结构。

到目前为止,S3FS正在耗尽实例内存,上传速度非常慢,所以我想将所有文件移动到连接到同一实例的EBS。

我尝试过S3CMD,但由于S3FS在bucket中创建了与目录同名的零大小对象,因此存在一些不兼容之处。

还尝试编写一个脚本,跳过那些零大小的对象递归复制结构。

没有任何效果。

有人试过这样做吗?提前感谢您的帮助。

@hernangarcia不要让事情变得复杂,使用递归的wget,wget-r后面跟着bucket端点的url。您可以将所有内容下载到EBS卷。此外,我的建议是不要将所有类似20 GB的文件存储在实例的根卷上,而是将另一个卷连接到该卷,然后将所有这些文件存储在该额外的卷中,如果您有一个高IOPS卷,则操作会更快。

相关内容

  • 没有找到相关文章

最新更新