Azure 数据工厂 V2 将活动从 Blob 存储复制到数据仓库



我正在使用 ADF v2 将数据从 Blob 存储上的 CSV 源导入到 Azure SQL Dat Warehouse。管道中的第一个活动是将活动从 CSV(在热 blob 存储上(复制到 Azure SQL DWH。如果此活动成功完成,则下一个活动再次是复制活动,但现在从 CSV(在热 blob 存储上(到 CSV(在冷 blob 存储上(,移动历史记录和存储定价优化的过程。CSV 文件的文件名作为管道参数发送到管道。

我注意到的是,如果我启动 Blob 存储中不存在的 csv 的"使用文件名管道"参数,则第一个复制活动 (CSV -> DWH( 完成而不会出错。它不会将任何数据导入DWH,这是正常的,但不会引发丢失文件的错误。下一步复制活动(CSV 热存储 -> CSV 冷存储(引发失败错误 - 缺少> Blob。

我还想复制到 DWH 以引发错误,因为这样我就可以在管道中添加其他活动来处理这种情况。在某处记录错误,将文件标记为丢失等。

在没有源 blob 存在的情况下成功完成从存储到 DWH 的复制活动的具体内容是什么?我在活动的"接收器"部分使用polybase复选框,如果这很重要的话。

有谁知道如何在源 blob 不存在时将此复制活动(存储 CSV -> SQL DWH(设置为"失败"?

谢谢

是的。 您可以在 if 活动中放置任意数量的活动。 因此,可以使用 getMetadata 活动获取有关 blob 存储的详细信息(检查文档中的"存在"属性,链接如下(。

https://learn.microsoft.com/en-us/azure/data-factory/control-flow-get-metadata-activity

相关内容

  • 没有找到相关文章

最新更新