我一直在使用gcloud导入工具将数据导入到云SQL实例中。我已经将数据分为较小的块,以避免进口的24小时限制。(每个进口都有大约1600万行分为大约16,000个进口声明。)我完成了两个进口(每个进口)(每个都需要2个小时),并进口第三个:
gcloud sql instances import --database mydb mydb-1 gs://data-1/olddata/olddata-2010.sql.gz
运行约90分钟后,它停止并报告了错误
ERROR: (gcloud.sql.instances.import) Daily Limit Exceeded
我发现了每个导入的24小时限制的引用,但没有其他与我可以看到的导入有关的"每日限制"。
如果我查看控制台的API部分,我确实看到Google Cloud SQL API每天的限制为10,000个请求,并且我已经超过了此。我无法将其与使用任何云SQL工具进行调和 - 要么我要做 far 超过10000个请求,要么少于 far 少。查看v1beta4的云SQL SQL API参考文档。ImportDocumentation并不表示需要运行的单个请求多(实际上,它对配额根本没有说明)。似乎没有与从云存储中检索有关的每日限制。
- 每日限制是多少?
- 每日限制在哪里记录?
- 有没有办法增加此限制?
- 实际上是为导入完成了多少个对Cloud SQL API的API调用?
- 有没有办法在不陷入此限制的情况下进行导入?(我还有大约10个数据集要导入,而不必将它们置于范围。)
尽管您可以要求增加配额 - 请参阅此页面(中心部分) - GAE配额,可能不需要。有时会减轻情况的原因是,您可以准确检查分组数据的处理方式。您是使用任何类型的跟踪工具还是查看日志?
我发现,在这种情况下,根据这些结果手动调整批处理大小确实有帮助。另外,这是一次性进口吗?还是预计会重复?