在本地主机上从S3下载文件比从EC2实例下载文件快得多



我正在运行一个相当简单的Python脚本,该脚本使用多处理和从S3下载文件的请求。当我在本地运行这个脚本时,速度非常快(2.5分钟内有5千个图像)。当我在EC2实例上运行相同的脚本时(g2.2xlarge,因为我需要使用GPU实例),它非常慢(大约慢10倍),尽管我使用的是优化的EBS,并为其提供了3600 IOP。在这一点上,我不知道我应该检查什么。任何建议都将不胜感激。

从这里修改了脚本,将urlib2替换为请求:

https://github.com/BVLC/caffe/blob/master/examples/finetune_flickr_style/assemble_data.py

该问题很可能与CDN限制我从EC2实例发出的http请求有关。当我转而使用boto时,速度变得与我在当地所做的相当。

希望这能帮助别人不要像我那样浪费时间!如果有疑问,就用boto。

最新更新