事实表对账或核实



在数据仓库项目中,我如何验证通过SSIS ETL加载加载到数据仓库DB中的事实数据表与我的暂存表是否正确,以便以后不会有错误的报告?

好问题,人们为此创建了不同的系统。所以您可以理解,这是开发人员构建的最复杂的检查/对账过程之一。我试着给你三种方法。我推荐第一个,因为它更容易,效率最高。

你可以-

  1. 加载后报告:创建将在加载后协调数据的报告。编写SQL来比较源数据和目标数据-比较计数、比较金额、比较空值、比较每日数据等。如果比较生成标志/警报-这意味着负载中存在一些问题
  2. 边检查边检查:您可以创建一些可重复使用的函数或映射,它将比较传入的源数据和目标数据-比较计数、比较金额、比较空值、比较每日数据等,并存储在表中。脚本将继续检查这些值,若有任何问题,脚本将通知支持团队
  3. 预处理检查:在启动任何ETL之前,您可以检查源数据,如计数、空值、每日计数等,以验证数据如何,是否有任何文件丢失等

最新更新