平面文件源的最佳性能:多列的单个数据转换任务与每列的多个数据转换任务



我有一个SSIS包,用于对具有5列的架构执行ETL。这些列中的每一列都需要转换为适当的数据类型。

最初,我在一个数据流转换任务中完成了所有的强制转换,这使得很难从错误输出中找出哪些强制转换失败。

后来,我决定在一行中为每列使用单独的数据流转换任务。

我想知道哪种方法会给我更好的表现?

我从平面文件(管道分隔)

获取所有数据

这实际上取决于您处理的数据量
您将从哪些数据类型转换为哪些数据类型
在ETL过程的哪个阶段,您需要转换数据
最快的方法可能是在源代码处强制转换它们(如果可能的话)。如果在同一服务器上的数据库与数据库之间进行转换,那么在数据库级别进行转换也是一种选择
您将需要一些测试来确定哪种方法最适合您的流程。

最新更新