我需要ADF(非Devops(编排方面的帮助。我给出的是ADF活动的流程,用数字表示
SAP表--->原始区域---->准备区域---->受信任区域------->sFTP
1 2 3 4
卡夫卡摄入(由ADF运行(
Databrick jar(由ADF运行(
Databrick jar(由ADF运行(
ADF复制活动
需要完成以下任务
在可信区域中生成文件后,同步进程会将文件复制到sFTP位置。
要将文件复制到sFTP中,它将获取所有.ctl文件(触发器/控制文件(,并与JOB_control表中标记为已处理的文件进行比较。复制以前未处理/复制的新文件。
复制程序应该轮询.ctl文件,并执行以下步骤
a。复制与ctl文件相同的csv文件。
b。复制ctl文件
c。使用文件处理成功的文件类型在JOB_CONTROL中插入/更新记录。如果成功,则不会考虑下次运行该文件。
d。如果出现错误,它应该标记相应的状态标志,以便在下一次运行时也考虑相同的文件
请帮我实现这一点。
谨致问候,SK
这是我对请求的理解,您将复制的文件记录在表中,目的是启动失败文件的复制。我认为您可以使用Lookup活动来读取失败的文件,然后将其传递给foreach(FE(循环。在FE循环中,您可以添加复制活动(您必须对数据集进行参数化(。HTH-