从GCS加载到GBQ导致内部BigQuery错误



我的应用程序创建了数千个" load job ";每天从Google Cloud Storage uri加载数据到BigQuery,只有少数情况下会导致错误:

"错误结束。发生内部错误,无法完成请求。这通常是由暂时的问题引起的。按照BigQuery SLA中的描述,重新尝试带有back-off的作业应该可以解决问题:https://cloud.google.com/bigquery/sla。如果错误继续发生,请通过https://cloud.google.com/support联系支持。错误:7916072">

该应用程序是用Python编写的,并使用库:

google-cloud-storage==1.42.0
google-cloud-bigquery==2.24.1
google-api-python-client==2.37.0

加载任务通过调用

完成
load_job = self._client.load_table_from_uri(
source_uris=source_uri,
destination=destination,
job_config=job_config,
)

这个方法有一个默认参数:

retry: retries.Retry = DEFAULT_RETRY,

所以作业应该自动重试这些错误。

错误完成的特定作业Id:

"load_job_id": "6005ab89-9edf-4767-aaf1-6383af5e04b6"
"load_job_location": "US"

得到错误后,应用程序重新创建作业,但它没有帮助。

后续失败作业id:

5f43a466-14aa-48cc-a103-0cfb4e0188a2
43dc3943-4caa-4352-aa40-190a2f97d48d
43084fcd-9642-4516-8718-29b844e226b1
f25ba358-7b9d-455b-b5e5-9a498ab204f7
...

如错误提示所示,请按照BigQuery服务级别协议中的back-off要求等待,然后重试

如果错误继续发生,如果您有支持计划,请创建一个新的GCP支持案例。否则,您可以在问题跟踪器上打开一个描述您的问题的新问题。您还可以尝试使用reservation来减少此错误的频率。

有关错误信息的更多信息,请参阅本文档。

最新更新