将 1TB 文件夹和文件从 vps Web 服务器传输到 AWS S3



我需要将所有文件(带有文件夹结构)传输到AWS S3。我已经研究了很多事情。

上述大多数位置 s3fs 。但是看起来这很老。我尝试将S3F安装到我的Exsisting CentOS 6 Web服务器上。但是它卡在 $ make 命令上。(是的,有makefile.in)

根据此答案,AWS S3传输加速度是下一个更好的选择。但是,我仍然必须编写一个PHP脚本(我的应用程序是PHP),以将所有文件夹和文件传输到S3。它的工作方式与文件保存在S3(API putobject)中的工作相同,但更快。如果我错了,请纠正我。

是否还有其他更好的解决方案(我更喜欢FTP)将带有CentOS 6服务器文件夹的1TB文件传输到AWS S3?有什么方法可以使用EC2中的FTP客户端从外部CentOS 6转移到AWS S3?

使用AWS命令行接口(CLI)的aws s3 sync命令。

这将保留您的目录结构,并且可以在断开连接时重新启动。每个执行只会复制新的,更改或缺少文件。

请注意,1TB是很多数据,并且可以花费大量时间复制。

另一种选择是使用AWS雪球,这是AWS可以发送给您的设备。它可以容纳50TB或80TB的数据。只需将您的数据复制到设备,然后将其运回AWS,它们将将数据复制到AmazonS3。

相关内容

  • 没有找到相关文章

最新更新