Google BigQuery BI 引擎监控和比较

Question

我最近被要求研究BI引擎的BigQuery表和视图。我正在尝试找出如何使用BI引擎保留与不使用它的速度进行比较。我能看到什么吗？ 谢谢

Answer 1

请记住，BI 引擎使用 BigQuery 作为后端，因此，BI 引擎预留的工作方式也与 BigQuery 预留类似，基于此，我建议您查看预留文档以获取有关按需容量和统一费率定价之间差异的更多信息。

您可以在此链接中找到有关预订的有用概念。

Answer 2

有几种方法可以做到这一点：

1( 如果您的表小于 1Gb，它将使用免费套餐。然后，在数据洞察中创建的任何仪表板都将加速(请参阅 https://cloud.google.com/bi-engine/pricing(。

2(如果没有，请在万神殿中创建预订：https://cloud.google.com/bi-engine/docs/reserving-capacity。创建预留后，数据洞察仪表板将加速。您可以试用几个小时并删除预留，并且只需为启用预留的时间付费。

Answer 3

BI 引擎通常只会加速来自 Tableau、Looker 等和 UI 的较小SELECT查询。例如，查询处理<16 GB。

我的建议是预订8GB，然后检查使用BI Engine的查询需要多长时间。您可以通过查询信息架构来执行此操作：

select 
creation_time, 
start_time,
end_time,
(unix_millis(end_time) - unix_millis(start_time)) / 1000 total_time_seconds,
job_id, 
cache_hit,
bi_engine_statistics.bi_engine_mode,
user_email,
query,
from `your_project_id.region-eu.INFORMATION_SCHEMA.JOBS` 
where 
creation_time >= '2022-12-13' -- partitioned on creation_time
and creation_time < '2022-12-14' 
and bi_engine_statistics.bi_engine_mode = 'FULL' -- BI Engine fully used for speed up
and query not like '%INFORMATION_SCHEMA%'  -- BI Engine will not speed up these queries
order by creation_time desc, job_id

然后关闭 BI 引擎，并再次运行具有 BI 引擎模式 = FULL 的查询，但现在没有 BI 引擎。还要确保缓存已关闭！

您现在可以比较速度。通常，查询速度快 1.5 到 2 倍。尽管也可能发生没有加速的情况，或者在某些情况下查询会花费更长的时间。

另请参阅：

• https://lakshmanok.medium.com/speeding-up-small-queries-in-bigquery-with-bi-engine-4ac8420a2ef0
• BigQuery BI 引擎：如何选择好的预留规模？