是否有一种方法可以使我在Azure数据工厂进行复制活动后,在Azure数据湖存储中复制的文件列表?我必须从数据源复制数据,并且必须根据特定条件跳过文件。条件还必须检查与SQL数据库中其他数据的文件路径和名称。有什么想法吗?
到目前为止,在复制活动之后,还没有获取文件列表的功能。然而
有一个解决方法,您可以在此处查看。
"在这种情况下,该解决方案实际上很简单。我刚刚在Azure Data Factory中创建了另一个管道,该工厂是由Blob创建的事件触发的,文件夹和文件名作为参数作为我笔记本的参数传递。以及最少所需的配置或代码。可以对事件进行基本过滤,其余的则由笔记本。
对于其他任何人都在这种情况下绊倒的人,详细信息:
https://learn.microsoft.com/en-us/azure/data-factory/how-to-to-to-to-create-create-event-trigger"