大查询-仪表板设计的并发性



大型查询是否适合处理数十万个连接,或者这是一个糟糕的设计?

情境,目前正在构建一个仪表板,显示直接从大查询中提取的聚合值。在我们的仪表板中,我们还有一组日期过滤器,可以显示上一年的数据(每个过滤器对大查询都是唯一的查询(。数十万用户很可能同时访问仪表板。

从文档中可以看出,大型查询对可以同时运行的查询数量有一定的配额。https://cloud.google.com/bigquery/quotas

如果这真的是一个问题,我计划的解决方案是预先计算每个唯一的日期结果,并将其保存在快速表中,但我们在这里讨论了很多组合。这是正确的架构,还是大查询有另一个解决这个问题的技巧?

所以这里需要注意一些事情。

  1. 可以引发100个并发查询
  2. 如果你提高了限制,你需要确保下面有支持插槽来处理请求。按需定价为您提供了2000个插槽,考虑到您所谈论的工作负载,您可能需要额外的插槽来处理并发性,这意味着统一费率定价
  3. 通过依赖结果缓存,或者如果您的数据定期更新物化视图,您可能能够减轻其中的一些问题

最新更新