在Azure数据工厂中编排管道



我需要ADF(非Devops(编排方面的帮助。我给出的是ADF活动的流程,用数字表示

SAP表--->原始区域---->准备区域---->受信任区域------->sFTP

1              2                 3                   4

卡夫卡摄入(由ADF运行(

Databrick jar(由ADF运行(

Databrick jar(由ADF运行(

ADF复制活动

需要完成以下任务

在可信区域中生成文件后,同步进程会将文件复制到sFTP位置。

要将文件复制到sFTP中,它将获取所有.ctl文件(触发器/控制文件(,并与JOB_control表中标记为已处理的文件进行比较。复制以前未处理/复制的新文件。

复制程序应该轮询.ctl文件,并执行以下步骤

a。复制与ctl文件相同的csv文件。

b。复制ctl文件

c。使用文件处理成功的文件类型在JOB_CONTROL中插入/更新记录。如果成功,则不会考虑下次运行该文件。

d。如果出现错误,它应该标记相应的状态标志,以便在下一次运行时也考虑相同的文件

请帮我实现这一点。

谨致问候,SK

这是我对请求的理解,您将复制的文件记录在表中,目的是启动失败文件的复制。我认为您可以使用Lookup活动来读取失败的文件,然后将其传递给foreach(FE(循环。在FE循环中,您可以添加复制活动(您必须对数据集进行参数化(。HTH-

相关内容

  • 没有找到相关文章

最新更新