我正试图使用azure数据工厂将文件从s3存储桶中复制出来。首先我想要一个目录列表。使用我会使用的CLI。｛aws s3 ls｝
从那里，我可以从foreach中的列表中确定将其推送到变量中。
在adf中，我尝试使用"获取元数据"，尽管这在理论上有效。在实践中，每个目录中有76个文件，循环超过1.5米。这不值得，它花费的时间太长了，尤其是对于20000个目录，目录只需要大约20秒。
有没有办法列出这个清单。当创建数据集时，我们没有权限，但当我们使用特定位置时，它确实有权限。
非常感谢
我找到了完成这项任务的另一种方法。因此，首先，我使用带有子选项的get元数据。它生成一个数组。我把它推到一个字符串变量中。有了这个变量，您就可以创建一个存储过程来区分它，使用openjson只获取值。然后可以将其进一步拆开以获取目录名。然后我把它们合并成一张表。使用查找，我可以运行另一个存储过程，从表中返回所需的值。整个过程只需几分钟。任何想要进一步解释的人，请问，我会尝试创建一个演练来帮助