使用adf中的复制活动(polybase)将ADLS gen2中的镶木地板文件复制到Azure突触表时出错



我的源代码是ADLS gen2中的镶木地板文件。所有镶木地板文件都是大小为10-14MB的零件文件。总大小应该在80 GB左右

水槽是Azuresynapse的桌子。

复制方法是Polybase。在执行后5秒内出现以下错误,如下所示:

ErrorCode=PolybaseOperationFailed,'Type=Microsoft.DataTransfer。Common.Shared.HybridDeliveryException,Message=将数据加载到SQL数据仓库时出错。操作:"创建外部表"。,Source=Microsoft.DataTransfer.ClientLibrary,'Type=System.Data.SqlClient.SqlException,Message=由于内部错误导致外部文件访问失败:'访问HDFS:调用HdfsBridge_IsDirExist时出现Java异常。Java异常消息:HdfsBridge::isDirExist-检查目录是否存在时遇到意外错误:AbfsRestOperationException:操作失败:"此请求未被授权执行此操作&";,403,HEAD,URL',Source=.Net SqlClient Data Provider,SqlErrorNumber=105019,Class=16,ErrorCode=-2146232060,State=1,Errors=[{Class=16、Number=1050219,State=1、Message=由于内部错误导致外部文件访问失败:'访问HDFS:访问HdfsBridge_IsDirExist时发生错误。Java异常消息:HdfsBridge::isDirExist-检查目录是否存在时遇到意外错误:AbfsRestOperationException:操作失败:"此请求未被授权执行此操作&";,403,头部,

我看到这个错误是由于身份验证失败,请检查授权标头和/或签名是否错误。例如,使用ADLS Gen2存储帐户访问密钥创建作用域凭据:

CREATE DATABASE SCOPED CREDENTIAL [MyADLSGen2Cred] WITH
IDENTITY='user',
SECRET='zge . . . 8V/rw=='

外部数据源创建如下:

CREATE EXTERNAL DATA SOURCE [MyADLSGen2] WITH (
TYPE=HADOOP,
LOCATION='abfs://myblob@pabechevb.dfs.core.windows.net',
CREDENTIAL=[MyADLSGen2Cred])

您可以指定wasb而不是abfs,如果您使用SSL,请将其指定为abfss。然后按如下方式创建外部表:

CREATE EXTERNAL TABLE [dbo].[ADLSGen2] (
[Content] varchar(128))
WITH (
LOCATION='/',
DATA_SOURCE=[MyADLSGen2],
FILE_FORMAT=[TextFileFormat])

你可以在我的书";Hands-On Data Virtualization with Polybase";。

相关内容

  • 没有找到相关文章

最新更新