从云存储导入 BigQuery 时出现后端错误



最近,我们开始看到许多错误,例如从Cloud Storage导入BigQuery时:

等待job_72ae7db68bb14e93b7a6990ed628aedd...(153秒) 当前状态: 运行中加载操作中的 BigQuery 错误:后端错误

等待job_894172da125943dbb2cd8891958d2d10...(364秒) 当前状态: 运行中加载操作中的 BigQuery 错误:后端错误

此过程每小时运行一次,并且以前已经稳定了很长时间。导入脚本或正在加载的数据类型没有任何变化。 如果您需要更多信息,请告诉我。

我在BigQuery日志中查找了这些作业 - 它们似乎都成功了。您遇到的错误可能是在读取作业状态时。我提交了一个内部错误,我们应该区分作业中的错误和在 bq 工具中获取作业状态的错误。

作业运行后,可以使用bq show -j <job_d>查看作业的实际状态。如果它仍在运行,则可以运行bq wait <job_id>

我还查看了前端日志;这些作业 ID 的所有状态请求都返回了 HTTP 200(成功)代码。

您可以将 --apilog=file.txt 参数添加到 bq 命令行(您需要将其添加到命令行的开头,如 bq --apilog=file.txt load ... 中所示)并发送再次失败的情况的输出?如果您担心敏感数据,请随时将其直接发送给我(谷歌的tigani)。

谢谢/乔丹·蒂加尼/谷歌大查询工程师

最新更新