使用ADF从ADLS Gen2加载Parquet文件

Question

我想以这样一种方式设置ADF管道，即我需要加载所有在ADLS Gen2上托管了2年以上的Parquet文件，层次结构为Year ->月→天→小时->在此期间，我们确实有一些文件结构变化，变化幅度为2-3列。我想拉所有的公共列，并在一个sql表加载整个数据。谁能告诉我哪些资源可以帮助我满足我的要求?

谢谢!

Answer 1

在Azure数据工厂管道中，

1. 使用Get Metadata活动获取parquet文件列表
2. 将子项目传递给ForEach活动以循环每个当前项目。
3. 在ForEach活动中添加If条件活动，以检查文件中的日期是否大于当前时间减2。
4. 在True activities中添加复制数据活动，将数据从源复制到汇。

您可以参考此文档将数据复制到SQL表中。