提高 Amazon EC2 上的数据传输速率



我有一个 1-Gig EBS 卷挂载到 EC2 实例,我正在从本地硬盘驱动器复制 600MB 的二进制数据(通过 RDS 连接)并且复制过程窗口显示剩余 10 小时。虽然我有高速连接(100 + Mbps)

无论数据量如何,数据传输速率均为1分钟/MB(即16Kbs/秒)
我在工作站前阅读《白鲸》(Moby Dick)或休息一天之间犹豫不决。

是否有任何合理的选择来加快此传输速率?
(理想情况下最低为 512 Kbps/秒)

我非常愿意接受任何解决方案,以缩短与EC2实例的上传/下载时间。

提前谢谢。

编辑:
我偶然发现了[亚马逊进出口服务][1]"AWS Import/Export 加速了在 AWS 云和您邮寄给我们的便携式存储设备之间传输大量数据的速度"
通过"邮寄给我们",它们的字面意思是您"实质上"将存储设备运送到亚马逊。
不要说这是石器时代,这是全新的技术,伙计!:-)

编辑2 :
这听起来很棒:[用于AW的Aspera][2]但不幸的是太贵了;
专为有大需求和大笔现金的财富 500 强企业量身定制。

有时候,如果你想做某事,最好自己做:-)

我在网上没有找到任何令人满意的东西,所以我花了一晚上的时间做了一个相当完整的台架测试。我已经测试了一些替代方案/场景,结果如下:

安装在EC2上的FTP服务器是Filezilla服务器(正确的配置很敏感)
用于此台架测试的FTP客户端是WinSPC(Filezilla客户端不起作用。
图例 : [HC] 代表 家庭连接 (100MBps)

上传带宽
RDS 上传 : 15 kb/s=> 更
糟糕FTP 上传 [安装在 EC2 上的 FTP 服务器]:100 Kb/s
从 HC 从 AWS 管理控制台上传到 S3:60 Kb/S
使用 AWS 控制台界面从 EC2 上传到 S3:145 Kb/S
使用 S3 浏览器从 HC 上传到 S3:120 Kb/S
使用 S3 浏览器从 EC2 上传到 S3 : 2000 Kb/S

下载带宽
RDS 下载和上传:15 kb/s=> 更
差FTP 下载 [FTP 服务器安装在 EC2 上]:360 Kb/s
从 EC2 从 S3 AWS 控制台界面下载:350 Kb/S
使用 S3 浏览器从 S3 下载:从 HC:380 到 620 Kb/S
使用 S3 浏览器从 S3 下载:从 EC2 下载:3000 Kb/S

结论:

因此,截至目前,Amazon S3与S3浏览器相结合可提供最佳结果。(S3浏览器只是S3上的一层,我不明白为什么上传率更好)

但是,应该记住,EC2 实例上的 FTP 服务器具有将本地 EC2 目录直接映射到 EC2 的巨大优势。与 S3 不同,只涉及一次转移。事实上,S3 需要 2 次传输:将本地资源形成到 S3/以及从 S3 到 EC2,反之亦然,而 FTP 访问通过缩短传输周期来授予即时性。此外,它节省了 S3 存储桶的成本。

有趣的是,EC2 实例的带宽非常强大。因此,不用说,使用真正利用它的协议(例如S3或FTP)而不是RDS会更有趣。

我希望这对面临同样问题的其他人有用,并节省他们宝贵的时间。

使用 Aspera 或 Tsunami UDP 并将 600 MB 移动到您的 Amazon EC2 基础设施(跳转盒)。然后在内部从跳转盒复制到 windows ec2。我的基准测试显示,与传统模式相比,海啸UDP要快得多。

最新更新