我想知道是否有人在 Azure 数据工厂中动态调用数据集方面有任何经验。 我们遇到的情况是,我们将所有表从 IaaS(Azure VM 上的本地 SQL Server 安装)应用程序系统动态扫描到数据湖。 我们希望有一个可以将服务器名称、数据库名称、用户名和密码传递给管道活动的管道。 然后,管道将扫描它们被告知从参数中读取的任何源。 源系统当前位于企业协议中的单独订阅和域中。
我们已经研究了在通用SQL Server数据集上使用AutoResolveIntegrationRuntime,但由于它是Azure并且VM上的运行时是自承载的,因此无法解决,并且出现"无法连接"错误。所以
i) 我不知道如果他们在同一个订阅和域中,这个问题是否会消失?
这就留下了是否有人可以协助:
ii) 一种获取动态运行时以解析它应该使用哪个 SQL Server 运行时的方法(出于复原目的,我们为每个 VM 都有一个,但它们都可以看到彼此的实例)。 我们不希望在特定 VM 上参数化链接服务,因为它会在该单个 VM 上依赖其他 VM。
iii) 能够参数化数据集以调用运行时(在 UI 中看起来是不可能的)。
iv) 能够使用管道活动参数化源和接收器连接以调用数据集参数。
服务器、数据库、表名称可以通过使用参数进行动态处理。这里的关键问题是 ADF 中的所有引用都无法参数化,例如数据集中的链接服务引用、链接服务中的 integrationRuntime 引用。如果你没有太多的自托管集成运行时,也许你可以尝试为不同的网络设置不同的管道?