如何使用 Azure 自定义活动获取本地 sql 表的架构以及数据?

Question

>我创建了一个 .Net 活动，它具有复制活动(将数据从本地复制到数据湖存储(和 U-SQL 活动(处理数据并将结果存储在数据湖存储中(。

但是，若要使用 U-SQL 处理数据，需要表的架构，该架构也需要从本地数据库复制。

U-SQL 查询：

DECLARE @storagePath string = @"E:";
DECLARE @inputFileSetName string = @"inputfile.tsv"; 
DECLARE @outputFileName string = @"outputfile.tsv";
DECLARE @input string = String.Concat(@storagePath, 
@inputFileSetName);
DECLARE @output string= string.Concat(@storagePath, @outputFileName);
@searchlog =
EXTRACT <Schema for the table>
FROM @input
USING Extractors.Tsv();
OUTPUT @searchlog 
TO @output
USING Outputters.Tsv();

我必须使用 Azure ADF 自定义活动获取表的架构以及数据？

Answer 1

您期望不同的架构如何？正如 Bob 在他的评论中提到的，我们目前不支持 U-SQL 中的动态架构发现。

此外，如果您不知道如何处理架构行集，您计划稍后在脚本中对架构行集执行什么操作。

如果您只想在不了解架构的情况下复制文件(如上面的示例(，我建议使用文件系统 API 或 ADLCopy(运行此 U-SQL 代码的变体(。