如何将数据湖存储中的文件夹作为参数传递到管道?

Question

在数据工厂中，我知道您可以在管道的开头传递参数，然后稍后使用 @pipeline(( 访问它。如果我在数据湖存储中有一个文件夹，我怎样才能将其作为参数传递并在以后访问它(假设我想在其中的每个文件上循环一个 for-each。是否传递文件夹的路径？我是否将其作为对象传递？

Answer 1

以下是您可以使用的步骤 -

1. 可以使用传递文件夹路径作为管道的参数(字符串(。

2. 将路径和"获取元数据"活动与"子项"一起使用。这将返回 JSON 格式的文件列表

   获取元数据选择

3. 使用"Foreach"活动循环并执行任何操作。

   将元数据活动的输出用作 Foreach 活动中的项(下面的示例(

@activity('获取文件列表'(.输出

希望这有帮助

Answer 2

1. 首先，需要创建数据湖存储链接服务。它将包含 Azure 数据湖存储的路径。可以使用 Azure 数据工厂 UI 创建链接服务

2. 然后，您需要在步骤 2 中创建链接服务的数据湖存储数据集引用。

3. 然后在步骤 2 中创建 getMetaData 活动引用数据集。

4. 然后按照峰会提供的步骤进行操作。

所有这些都可以在UI.https：//learn.microsoft.com/en-us/azure/data-factory/quickstart-create-data-factory-portal#create-a-pipeline 中完成

。