使用 ADF 调用存储过程

Question

我正在使用ADF加载SQL服务器表，插入结束后，我必须使用以下方法进行少量操作

1. 触发器（插入后）- 失败，SQL 服务器无法检测到我使用 ADF 推送的插入记录。 **Seems to be a bug** .

2. 使用用户定义表类型的存储过程 - 获取错误

错误号"156"。来自数据库执行的错误消息：不正确 关键字"选择"附近的语法。必须声明表变量 "@a"。

我在下面创建了管道

{
    "name": "CopyPipeline-xxx",
    "properties": {
        "activities": [
            {
                "type": "Copy",
                "typeProperties": {
                    "source": {
                        "type": "AzureDataLakeStoreSource",
                        "recursive": false
                    },
                    "sink": {
                        "type": "SqlSink",
                        "sqlWriterStoredProcedureName": "sp_xxx",
                        "storedProcedureParameters": {
                            "stringProductData": {
                                "value": "str1"
                            }
                        },
                        "writeBatchSize": 0,
                        "writeBatchTimeout": "00:00:00"
                    },
                    "translator": {
                        "type": "TabularTranslator",
                        "columnMappings": "col1:col1,col2:col2"
                    }
                },
                "inputs": [
                    {
                        "name": "InputDataset-3jg"
                    }
                ],
                "outputs": [
                    {
                        "name": "OutputDataset-3jg"
                    }
                ],
                "policy": {
                    "timeout": "1.00:00:00",
                    "concurrency": 1,
                    "executionPriorityOrder": "NewestFirst",
                    "style": "StartOfInterval",
                    "retry": 3,
                    "longRetry": 0,
                    "longRetryInterval": "00:00:00"
                },
                "scheduler": {
                    "frequency": "Hour",
                    "interval": 8
                },
                "name": "Activity-0-xxx_csv->[dbo]_[xxx_staging]"
            }
        ],
        "start": "2017-01-09T21:48:53.348Z",
        "end": "2099-12-30T18:30:00Z",
        "isPaused": false,
        "hubName": "hub",
        "pipelineMode": "Scheduled"
    }
}

并使用以下存储过程

create procedure [dbo].[sp_xxx] @xxx1 [dbo].[ut_xxx] READONLY, @str1 varchar(100) AS
MERGE xxx_dummy AS a
USING @xxx1 AS b
ON (a.col1 = b.col1) 
WHEN NOT MATCHED 
    THEN INSERT(col1, col2) 
    VALUES(b.col1, b.col2)
WHEN MATCHED 
    THEN UPDATE SET a.col2 = b.col2;

请帮助我解决问题。

Answer 1

我可以重现您的第一个错误。 使用 Azure 数据工厂 （ADF） 插入到 SQL Server 表似乎使用批量插入方法（类似于批量插入、bcp、SSIS 等），默认情况下，这些方法不会触发触发器：

insert bulk [dbo].[testADF] ([col1] Int, [col2] Int, [col3] Int, [col4] Int) 
with (TABLOCK, CHECK_CONSTRAINTS)

使用 bcp 时，BULK INSERT有一个标志可以更改为"触发触发器"，但似乎无法更改 ADF 的此设置。 解决方法是将逻辑从触发器移动到存储的过程。

如果您认为此标志很重要，请考虑创建反馈项。