我们有许多DTSX包,这些包从许多传统的普适数据库中提取转换加载数据->SQL Server 2k8 R2。(通过ODBC)
我们的大多数ETL过程T-SQL脚本
遗留数据是一个结构糟糕的混乱&最常见的是;我们对ETL脚本所做的更改是为了处理这种格式错误的数据。
我们想做的是建立一些流程来自动测试执行这些转换的SPROCS/Scripts。
我们自己想的是:
- 有一些已知的数据源输入(托管在本地普及数据库中)
- 运行DTSX软件包以生成输出
- 有一些期望&在SQL Server的其他地方预先创建的输出
- 编写我们自己的验证脚本,将预期与实际进行比较
只是想知道我们是否也应该考虑其他流程/系统/db测试应用程序。
看看tSQLt-用于SQL Server的数据库单元测试框架。它使得编写健壮的测试变得相当容易。
它(还)不允许测试脚本,但您可以将这些脚本封装到存储过程中。
遗留数据库总是具有挑战性的。
我建议你看看这篇文章:http://quality-gates.com/?p=1284,其中我介绍了在不同层中验证ETL过程需要进行的基本测试:操作、数据仓库等。
我们选择在我们的项目中使用质量闸门。由于它不是ETL的一部分,因此它使验证变得干净和客观。在我看来就像你在找什么。