获取所有数据
我有一个SSIS包,用于对具有5列的架构执行ETL。这些列中的每一列都需要转换为适当的数据类型。
最初,我在一个数据流转换任务中完成了所有的强制转换,这使得很难从错误输出中找出哪些强制转换失败。
后来,我决定在一行中为每列使用单独的数据流转换任务。
我想知道哪种方法会给我更好的表现?
我从平面文件(管道分隔)
这实际上取决于您处理的数据量
您将从哪些数据类型转换为哪些数据类型
在ETL过程的哪个阶段,您需要转换数据
最快的方法可能是在源代码处强制转换它们(如果可能的话)。如果在同一服务器上的数据库与数据库之间进行转换,那么在数据库级别进行转换也是一种选择
您将需要一些测试来确定哪种方法最适合您的流程。