我的团队希望向用户(店主(提供具有特定kpi的仪表盘，例如，在他们的商店中下的订单、取消的总订单、总销售额、完成的交付。等等。这个仪表板应该接近实时更新(比如延迟15分钟(。它将与下订单的核心应用程序集成。
我们正在评估的一种方法是将所有所需的表复制到一个仓库中，比如说一个用于分析的数据库，连接表，将谷物保持在事务级别，并将这个巨大的表保存到同一个仓库。所有这些步骤都应该在15分钟内完成。然后，仪表板将在这个巨大的表上计算kpi。我认为这不是最有效的方法。
我倾向于不将表仓库化，而是直接让仪表板查询活动表。根据当前会话，用户级别的筛选器将自动消除大多数记录。所以它会足够快。
像Spark流媒体+Kafka这样的流媒体工具可能没有帮助，因为我必须听很多表进行更新，然后进行聚合。
关于什么是最好的方法，有什么建议吗？请帮助
对生产事务系统进行分析通常是个坏主意(以及为什么我们有单独的仓库系统(，因为
- 它会影响事务处理过程的性能
- 有效支持OLTP的数据结构往往与有效支持OLAP的数据结构大不相同
由于您只会将增量加载到仓库中，并根据它们计算KPI，而不是整个数据集，因此不应该存在性能问题。这是一种非常常见的模式
但正如大卫所提到的，这实际上只是意见，因为你没有提供足够的信息，并且提出了一个非常广泛的问题