哪个更快A).从信息电力交换到雪花或B)的数据负载.从AWS S3到Snowflake的数据加载



请建议将数据加载到雪花的最佳方法,我目前对的两种方法感到困惑

A( 。首先将数据从Informatica Power中心加载到s3,然后加载到雪花

B( 。将数据从Informatica直接加载到snowflake,并从Informatica并行加载到s3。

我的最终目标是在S3和snowflake中都有数据,只是不知道该采用哪种方法。

我需要雪花中的增量数据,而不仅仅是数据附加。

我认为选项A如果数据量很大,Informatica映射、逻辑很复杂,并且需要大量时间来缓存/处理/加载所有数据
但是,如果您处理的数据较少,而且信息映射不复杂,也没有主动转换(AGG、SRT、JNR等(,informatica服务器功能强大,所需时间也较少,那么您可以选择B。此外,请注意选项B中的并行度非常高
我的建议是测试这两种选择,因为两者都有优缺点。

最新更新