我在bigquery中有一个聚合数据表,它有数百万行。这张桌子每天都在增长。
我需要一种在毫秒内从这个聚合表中获取1行的方法,以便在实时事件中附加数据。
解决这个问题的最佳方法是什么?
BigQuery的构建不是为了在毫秒内做出响应,因此您需要介于两者之间的其他解决方案。使用BigQuery进行大型聚合计算是非常好的。但你不应该直接从BQ服务,因为响应时间是毫秒的问题。
还要注意,例如,如果这是一个网络应用程序,多次重新加载一个页面可能会花费你很多钱。。按查询付费。
有很多体系结构解决方案可以解决这些问题,但如果没有任何项目上下文和目标,就很难判断应该使用什么。
对于实时数据,我们经常使用PubSub来连接两者之间的某个位置,但如果(接近(实时需求是一个聚合,这可能是一个问题。
您还可以使用物化视图的概念,通过将聚集的数据导出到子组件。例如,云存储->pubsub或SQL实例/内存存储。。或任何其他类型的微服务。