监控BigQuery性能



我们有BigQuery实例,每个数据集都有不同的数据集,我们要监控使用情况,如每个数据集的查询数、为每个数据集激发的查询、访问数据集的用户数。

有什么方法可以监控BigQuery的使用情况吗?

您可以在这里看到一些指标:https://console.cloud.google.com/monitoring/dashboards/resourceList/bigquery_dataset?project=**[YOUR_PROJECTID_GOES_HERE]**

这里还有更多信息:https://cloud.google.com/bigquery/docs/monitoring

您还可以启用BigQuery审核日志,并查询审核表以获得一些见解https://cloud.google.com/bigquery/docs/reference/auditlogs.可能要监控用户、查询和其他细粒度监控,您只能使用审计日志

这里的最佳选择很可能是通过相关INFORMATION_SCHEMA视图直接聚合查询作业元数据。

请参阅https://cloud.google.com/bigquery/docs/information-schema-jobs有关作业视图的详细信息,最后包括一些简单的查询示例。

作业视图确实提供了referenced_tables的列表,您可以从中标识封装数据。您可能需要考虑如何报告引用多个数据集的查询,特别是如果您报告的是扫描的字节或使用的资源等指标。

最新更新