谷歌大查询 API 返回"too many free query bytes scanned for this project"



我正在使用Google的大型查询API从他们的n-gram数据集中检索结果。因此,我发送了多个查询"SELECT ngram from trigram_dataset where ngram=='自然语言处理'"。

我基本上使用的是这里发布的相同代码(https://developers.google.com/bigquery/bigquery-api-quickstart)替换为我的查询语句。

在每一个程序运行时,我都必须获得一个新的授权代码,并在控制台中键入它,这就授权我的程序在我的项目ID下向谷歌大查询发送查询。然而,在发送了5个查询后,它只会返回"消息":"超过配额:该项目扫描的免费查询字节太多"。

根据谷歌大查询的政策,他们的免费配额是每月100G,我想我甚至还没有接近他们的配额。有人在上一个帖子中建议我应该启用计费信息来使用他们的免费配额,我照做了,但它仍然给了我同样的错误。有没有办法检查剩余配额,或者如何解决这个问题?非常感谢!

您提到的查询扫描1.12 GB的数据,因此您应该能够在一个月内运行89次。

配额的工作方式是,你从每月100 GB的配额开始——如果你用完了,你不必等待整整一个月,但你每天可以多获得3.3个配额。

我的猜测(请确认)是,你运行了一堆查询,用完了每月100 GB的免费配额,然后等了一天,在达到配额上限之前只运行了几个查询。如果不是这样,请让我知道,并提供你的项目id,我可以在日志中查看。

另外,请注意,这并不是bigquery最有效的用法;一种选择是将多个请求批处理在一起。在这种情况下,你可以做一些类似的事情:

SELECT ngram 
FROM trigram_dataset 
WHERE ngram IN (
'natural language processing',
'some other trigram',
'three more words')

相关内容

  • 没有找到相关文章

最新更新