scd缓慢变化的痴呆症我如何检测变化

Question

在将ODS表插入DWH中的维度表之前，我可以检测到ODS表中的更改吗？我使用sql和pentaho来提供信息，我使用4个表来提供维度表！那么，在使用这4个表之前，我如何检测它们的变化呢？

Answer 1

有两个转换步骤可以帮助您比较两个表的内容，合并行(diff(或表比较。

您可以保留一份表的副本，每次运行流程时都会将实际内容与上一份副本的内容进行比较，尽管如果表太大，这种方法在性能方面并不明智。

或者，如果您的数据库允许审核更改，您可以激活该审核，只检索您的审核认为自上次加载以来已更改的行。

还可以在数据库中使用触发器，以确保每次更改行时都会更新修改日期，因此使用存储修改更改的列可以检索更改的行。