已使用插槽的BigQuery统计信息



我们有多个GCP项目(dev、acc、pro(运行BigQuery作业,主要由Airflow触发。我们注意到BigQuery插槽使用的云费用有所增加。是否有BigQuery元数据表/视图,我们可以在其中查看所有查询、处理的数据以及它们的插槽使用情况(如果不是在我们组织中的各个项目中,那么至少是每个项目(。我们想确定哪些工作是昂贵的,我们可以减少插槽的使用。

这里有几个选项,但要将这些数据用作SQL查询的结果,您需要使用INFORMATION_SCHMEA.JOBS*视图。你可以JOBS:https://cloud.google.com/bigquery/docs/information-schema-jobs或JOBS_BY_ORGANIZATION:https://cloud.google.com/bigquery/docs/information-schema-jobs-by-organization

如果您使用按需定价,那么您将希望关注total_bytes_billed列,但对于插槽使用情况,您可以获得的最佳结果是查询期间的平均插槽数(这也有很多因素,包括有多少其他作业同时运行(。您可以在此处看到平均插槽消耗的示例查询:https://cloud.google.com/bigquery/docs/information-schema-jobs#examples

最新更新