如何在会话超时时恢复从BigQuery Storage API读取



BigQuery Storage API的会话超时时间为6小时https://cloud.google.com/bigquery/docs/reference/storage/rpc/google.cloud.bigquery.storage.v1beta2#bigqueryread.而读取100s TB的数据,最大允许流为1k,6h不足以读取所有数据。

鉴于这些限制,我想知道是否有一种可扩展的方法可以通过BQ Storage API从BQ读取大型数据集?如果没有,有没有其他选择可以从BQ中读取大型数据集?

您的用例尚未涵盖。

根据目前的情况,你可以

  • 最多可运行6小时的会话
  • 最多有1000个流

如果你说你有一个项目和用例,你无法在6小时内完成1000个流,我建议联系你的谷歌云代表,看看是否可以为你的项目提高上述配额。

最新更新