Azure数据工厂类似于SSIS中的/foreach循环中的某些东西



我在本地数据库中有200多个表中有数据,我需要移至Azure Data Lake。我对每张桌子中的Azure Data Factory One中有200多个单独的管道(或其中的管道/活动活动的其他分区/活动的其他分区(的想法不满意。有更好/更可扩展的方法吗?在SSIS中,我可能会创建一个模板包并将其包装在一个循环容器中,以通过表进行工作列表进行迭代,或者将其更进一步,然后将其更进一步,有几个列表,每个软件包独自工作独立列表以获得更大的并行性。有没有在数据工厂进行相同操作的方法?

真的吗?就动态模式而言,SSIS非常糟糕。根据这个问题,Azure Data Factory(ADF(是ELT工具不是ETL工具,并且从根本上有所不同。但是,使用副本向导做到这一点并不需要这么长时间。

另外,您将必须学习使用.NET SDK和/或PowerShell与ADF更具动态作用。从理论上讲,您需要在一个管道下运行的每个表的输入和输出数据集。

最后,我认为这不是一个很棒的模式(主要是因为您需要一些IaaS来托管(,但是作为最后的度假胜地,SSIS现在确实与Azure Data Lake集成了2016年功能包。

相关内容

  • 没有找到相关文章

最新更新