Azure Data Factory:从parquet输入文件中过滤行，并将结果输出到带分隔符的文件

Question

我有parquet文件存储在Azure存储帐户中，我需要过滤它们并将它们复制到分隔符文件。我可以复制文件作为一个整体，但我还没有弄清楚如何使用复制活动过滤输入文件。输入文件非常简单，只有几列，需要根据一列的值进行过滤。这里有一个例子给你一个概念:

Country  | Municipality  | City
cntry A  | mncplty 1     | cty 1
cntry A  | mncplty 1     | cty 2
cntry B  | mncplty 1     | cty 1
cntry C  | mncplty 1     | cty 1
cntry C  | mncplty 2     | cty 1
cntry C  | mncplty 2     | cty 2

我需要从输入文件中获取Country = "cntry A".

的每一行如果我要在SQL中这样做，我会这样做:

INSERT INTO delimited
SELECT * FROM parquet
WHERE Country = "cntry A";

如何在Azure数据工厂中实现这一点?我能做到这一点，只是使用复制活动或我需要使用其他活动?

Answer 1

使用ADF数据流过滤器转换。

https://learn.microsoft.com/en-us/azure/data-factory/data-flow-filter