我应该如何执行SQL ETL Scripts和SPROC的自动化测试?



我们有许多DTSX包,这些包从许多传统的普适数据库中提取转换加载数据->SQL Server 2k8 R2。(通过ODBC)

我们的大多数ETL过程T-SQL脚本

遗留数据是一个结构糟糕的混乱&最常见的是;我们对ETL脚本所做的更改是为了处理这种格式错误的数据。

我们想做的是建立一些流程来自动测试执行这些转换的SPROCS/Scripts。

我们自己想的是:

  • 有一些已知的数据源输入(托管在本地普及数据库中)
  • 运行DTSX软件包以生成输出
  • 有一些期望&在SQL Server的其他地方预先创建的输出
  • 编写我们自己的验证脚本,将预期与实际进行比较

只是想知道我们是否也应该考虑其他流程/系统/db测试应用程序。

看看tSQLt-用于SQL Server的数据库单元测试框架。它使得编写健壮的测试变得相当容易。

它(还)不允许测试脚本,但您可以将这些脚本封装到存储过程中。

遗留数据库总是具有挑战性的。

我建议你看看这篇文章:http://quality-gates.com/?p=1284,其中我介绍了在不同层中验证ETL过程需要进行的基本测试:操作、数据仓库等。

我们选择在我们的项目中使用质量闸门。由于它不是ETL的一部分,因此它使验证变得干净和客观。在我看来就像你在找什么。

最新更新