如何处理数据保管库模型中已删除的记录(从源)?



我们正在构建一个Data Vault (2.0)模型来捕获SalesForce数据。与许多其他源一样,源中的记录被软删除。当我们向数据模型提供数据时,我们不希望过滤任何数据,也不想捕获目标系统中已删除的记录。搜索了在数据保管库模型中处理已删除记录的最佳实践,但没有运气。有人可以在这里放一些光吗?我们是否应该在HubSatellite中添加IsDeleted标志,同时考虑到模型的未来扩展和最佳设计实践。此外,此处的任何参考资料链接都将有很大帮助。谢谢。

在DV2.0规范中,有一个"记录源跟踪卫星",它完全可以做你想做的事情,跟踪每个源插入,更新和删除的记录(如果你有这本书,第143页)。

基本上,这是一个具有哈希键,加载日期,记录源和状态(I/U/D)的卫星。每次在源系统中添加、更新或删除记录时,您都会插入一条记录。

在DV1.0中,有一个"上次看到"字段,但由于性能问题(https://danlinstedt.com/allposts/datavaultcat/end_of_updates/)已被删除

最新更新