在Azure的Data Factory中，在ADL存储中执行U-SQL脚本

Question

我在我的ADL商店上存储了一个USQL脚本，我正在尝试执行它。脚本文件很大 - 约250MB。

到目前为止，我有一个数据工厂，我创建了一个链接的服务，并且正在尝试创建数据湖分析U-SQL活动。

我的U-SQL活动的代码如下：

{
"name": "RunUSQLScript1",
"properties": {
    "description": "Runs the USQL Script",
    "activities": [
        {
            "name": "DataLakeAnalyticsUSqlActivityTemplate",
            "type": "DataLakeAnalyticsU-SQL",
            "linkedServiceName": "AzureDataLakeStoreLinkedService",
            "typeProperties": {
                "scriptPath": "/Output/dynamic.usql",
                "scriptLinkedService": "AzureDataLakeStoreLinkedService",
                "degreeOfParallelism": 3,
                "priority": 1000
            },
            "policy": {
                "concurrency": 1,
                "executionPriorityOrder": "OldestFirst",
                "retry": 3,
                "timeout": "01:00:00"
            },
            "scheduler": {
                "frequency": "Day",
                "interval": 1
            }
        }
    ],
    "start": "2017-05-02T00:00:00Z",
    "end": "2017-05-02T00:00:00Z"
}

}

但是，我会收到以下错误：

错误

活动的datalakeanalyticsusqlactivitivityTemplate'> pipeline'runusqlscript1'没有输出，也没有时间表。请添加>输出数据集或定义活动时间表。

我想让此活动按需运行，即我根本不希望它安排，而且我也不理解哪些输入和输出是我的。我要运行的U-SQL脚本正在我的ADL存储上运行数百万个文件，并且在对内容进行了一些修改后将其保存。

Answer 1

当前ADF不支持在ADL中存储的USQL活动的USQL脚本，即" TypeProperties"下的" ScriptLinkedService"必须是Azure Blob存储链接的服务。我们将更新USQL活动的文档，以使其更加清晰。

支持运行ADL中存储的USQL脚本的支持在我们的产品积电上，但我们还没有致力于此。

雪莉·王

Answer 2

当前ADF不支持执行按需执行活动，需要使用时间表进行配置。您将至少需要一个输出来推动活动的时间表执行。输出可以是虚拟存储存储空间，而无需实际将数据写出，但是ADF利用可用性属性来驱动时间表执行。例如：

{
 "name": "OutputDataset",
 "properties": {
     "type": "AzureBlob",
     "linkedServiceName": "AzureStorageLinkedService",
     "typeProperties": {
         "fileName": "dummyoutput.txt",
         "folderPath": "adf/output",
         "format": {
             "type": "TextFormat",
             "columnDelimiter": "t"
         }
     },
     "availability": {
         "frequency": "Day",
         "interval": 1
     }
 }
}