在通过Azure数据工厂将数据复制到Azure数据湖之前进行文件检查



目前我正在构建一个数据管道,我想通过Azure数据工厂将数据从一个blob存储复制到Azure数据湖,但在创建数据管道之前,我想进行一种文件检查,即如果找到或没有文件,它应该检查目录,例如:我有一个csv文件,如果文件存在,则开始复制到adls,否则通过找不到错误文件。我知道我们可以在python中做到这一点,但在adf中如何在管道中添加这一点。任何帮助都将不胜感激。

我会使用元数据活动来获取blob存储中所有项目的列表(选择您的blob作为数据集(:https://learn.microsoft.com/en-us/azure/data-factory/control-flow-get-metadata-activity

然后,您可能需要检查项目是否是文件,而不是文件夹。为此,您可以添加"ForEach"one_answers"If condition"活动的组合。在这种情况下,可以使用@activity('GetMetadata').output.childitems表达式和@equals(item().type, 'File')表达式引用元数据步骤中的每个项,以检查它是否为文件。

相关内容

  • 没有找到相关文章

最新更新