Azure数据工厂自动化脚本

Question

我正在做一个使用Azure数据工厂的项目。我有一个要求，但不确定如何实现。

要求:

源文件在windows本地服务器(远程服务器)中生成。我们需要检查源文件夹中的文件数量，如果数量较少，则系统需要等待。如果计数匹配，则系统应该开始处理管道。

在power shell脚本的帮助下，我可以实现这一点吗?如果是，我如何在ADF流中提到power shell脚本?

如果我们使用run book来编写power shell脚本，在处理管道之前如何在ADF中调用它们?

Answer 1

Data Factory无法在本地执行脚本，因为这将是一个主要的安全问题。但是，您可以编写一个脚本，每分钟/小时在本地执行一次，并使用windows调度程序对其进行调度。该脚本将在文件夹中创建一个虚拟文件(例如"ready.txt")。

然后，您可以创建一个具有两个连续活动和三个数据集的ADF管道:

D1 -> A1 -> D2 + D3 -> A2

1. 第一个活动(A1)将依赖于查找(并等待)该虚拟文件的数据集(D1)。此活动将产生一个虚拟数据集(D2)作为输出。
2. 第二个活动(A2)将取决于第二个虚拟数据集(D2)以及真实数据集(D3)，这是包含您想要复制的文件的文件夹。

当您的脚本在本地创建"ready.txt"文件时，这将触发A1，它将产生虚拟数据集D2，这反过来将触发A2，它将文件从您的文件夹复制到您想要放置它们的任何地方。

我知道这听起来很复杂，但实际上很简单。查看这里的"按顺序运行活动"，以查看您需要的大部分JSON。