如何下载所有GAE数据存储记录

Question

我使用GAE批量加载器下载数据存储数据-

appcfg.py download_data --log_file=bulkloader.log --kind=MyKind --application=s~myappid --url=http://myappid.appspot.com/rmt_api --filename=data_downloaded.csv --db_filename=skip --config_file=bulkloader.yaml

但一段时间后，我得到OverQuotaError: The API call datastore_v3.RunQuery() required more quota than is available。这是关于Datastore Read Operations的。看起来我应该在第一天下载一些数据，在第二天，第三天等等。

我该怎么做?

乌利希期刊指南。医生说

如果传输被中断，您可以从哪里恢复传输它使用——db_filename=…和——result_db_filename =……参数。这些参数是进度文件的名称和由工具创建的结果文件，它们是您提供的名称使用开始传输时的参数，或默认名称包括时间戳。这假设您已经安装了sqlite3，并且没有禁用进度文件——db_filename=skip.

这是否意味着我可以运行appcfg.py download_data ...几次通过相同的db_filename和result_db_filename值，并且每次都会继续下载剩余的记录?我的CSV文件会发生什么?它会在文件的末尾添加记录吗?

Answer 1

如果您现在使用的是免费配额，那么启用计费功能除了修复此问题外，不会改变任何东西。检查启用计费的配额。除非你的应用有巨大的流量，否则你很可能不会产生任何费用。

Answer 2

使用db_filename和result_db_filename可以在几天内下载数据。一旦达到每日限制，下载可以停止，然后在第二天重新开始-它不会再次下载相同的数据，但会继续下载剩余的项目。一旦所有数据下载完毕(即最后一天)，CSV文件将被创建。