数据市场的全加载策略是否有任何缺点..



...除了性能影响?

在我们的情况下,数据量将是可监督的,复杂性可能不会。

背景:
我经历过一个项目,其中数据市场每天都被完全加载。这简化了 ETL,因为不需要进行增量处理。出于同样的原因,性能也是可以接受的。但是,我不确定这种情况是否总是可用的,如果有缺点,例如,当最终用户告诉我们数据自 4 天以来是"错误的" - 很难追溯到。

感谢您的输入

根据业务需求,这是一个完全可以接受的策略。

您将失去的一件事是显示缓慢变化的维度的历史的能力。如果这对您的业务不重要,请不要担心。

在Ajilius,我们有一位高级时装行业的客户,他们每小时重新加载一次数据仓库。这是因为需要显示其产品规划周期的近乎实时的可视化,这是季节性的,任何数据都可以随时更改,并且没有长期历史要求。

更常见的情况是源 DBMS 中没有更改数据捕获功能。在这种情况下,您经常会看到事实和维度的完整重新加载。事实不太可能 - 您通常有一个日期或时间戳来管理数据提取 - 但全维度重新加载经常发生。

相关内容

最新更新