如何加快App Engine批量下载速度?

Question

我试图使用App Engine bulkloader从数据存储(高复制的一个，如果它很重要)下载实体。它可以工作，但是非常慢(85KB/s)。有没有一些神奇的参数可以让它更快?我正在接收大约5MB/分钟或20,000条记录/分钟，并且考虑到我的连接可以做1MB/秒(希望应用引擎可以比这更快地服务)，必须有一种方法来做得更快。

这是我当前的命令。我试过大数、小数和每一种排列:

appcfg.py download_data 
--application=xxx 
--url=http://xxx.appspot.com/_ah/remote_api 
--filename=backup.csv 
--rps_limit=30000 
--bandwidth_limit=100000000 
--batch_size=500 
--http_limit=32
--num_threads=30 
--config_file=bulkloader.yaml 
--kind=foo

我已经试过了应用引擎散装装载性能而且不比我现在的速度快。他提到的数字和我看到的一样。

Answer 1

是否为要下载的实体的密钥设置了索引?
我不知道这是否有帮助，但是检查一下你是否在下载开始时收到一个警告，说"使用顺序下载"

把这个放到索引上。在实体键上传上创建索引，并等待索引建立。

- kind: YOUR_ENTITY_TYPE
  properties:
  - name: __key__
    direction: desc