加载亚马逊列出的任何公共数据集(http://aws.amazon.com/datasets)将占用大量资源和带宽。将它们导入AWS以便快速开始使用的最佳方法是什么?
您需要使用公共数据集的快照ID创建一个新的EBS实例。这样你就不需要支付转账费用了。
但要小心,有些数据集只在一个地区可用,很可能用类似的注释表示。然后,您应该在同一个区域中注册您的EC2实例。
这些数据集位于美国东部地区。如果您处理来自其他地区的数据,您将被收取数据传输费。
FYI:SDBExplorer使用多线程BatchPutAttributes实现高写吞吐量,同时将批量数据上传到Amazon SimpleDB。SDB Explorer允许多个并行上传。如果您有带宽,您可以通过在并行队列中同时运行大量BatchPutAttributes进程来充分利用该带宽,这将减少处理时间。SDBExplorer支持将数据从MySql和CSV导入到AmazonSimpleDB。
http://www.sdbexplorer.com
披露:我是SDBEexplorer的开发者。