是否可以在blob存储中为Azure数据工厂中管道的每次运行创建一个具有自定义名称的csv文件?
每个csv的名称中都必须有运行日期(我可以用变量轻松设置(,因为它有与该日期相关的数据。
我不知道如何做到这一点,因为";复制";活动允许选择已经创建的";Sink数据集";但不是在每个管道运行中创建一个新的管道。
我不知道如何做到这一点,因为"复制"活动允许选择已创建的"接收器数据集",但而不是在每个管道运行中创建一个新的。
是的,源和汇数据集应该是特定的。执行复制活动时,不能设置动态接收器数据集。
根据您的描述,您希望将每个ADF管道的执行日期分别记录到不同的文件中。据我所知,没有实现这一点的直接选择。提供以下可能的解决方法供您参考:
使用ADF帐户启用诊断日志,并设置日志文件的驻留(Blob存储(。您可以查看该日志文件中的属性:pipelineName ,start,end
。
使用Azure函数Blob触发器从文件中获取整个数据。并根据需要将文件单独创建到另一个带有代码的blob存储路径中。