Google BigQuery 请求太大


我已经有

一段时间没有机会研究熊猫GBQ模块了,但我注意到我们的一个回归测试现在失败了。

有问题的测试是:

https://github.com/pydata/pandas/blob/master/pandas/io/tests/test_gbq.py#L254-L267

简而言之,测试尝试创建一个包含 5 列(类型为布尔值、浮点型、字符串、整数、时间戳)和 1,000,001 行的表。以 10,000 行的块插入这些行失败,响应为"请求太大"。

我觉得这可能会与 BigQuery 中的"查询太大"有类似的答案 - 但看到这个测试在以前的工作方式,我想知道是否有后端问题需要解决。也有可能在我不看的时候 API 被更改了!

TLDR 版本:我们的插入太大怎么办,是否有我们可以参考的文档限制?

记录的限制如下:

https://cloud.google.com/bigquery/streaming-data-into-bigquery#quota

TL;DR 答案:虽然 BQ 目前没有严格执行每个请求的最大行数为 500 行/插入,但 API 堆栈中其他位置存在一些与总体请求大小相关的其他限制,这些限制阻止调用成功。

最新更新