红移到Azure数据仓库复制性问题 - HybridDeliveryException



事实:

- 我正在AWS Redshift-> Azure Data Warehouse之间运行Azure Data Factory管道(因为Power BI在线服务截至本文时不支持RedShift日期)

- 我正在使用polybase进行副本,因为我需要跳过一些有问题的行。我使用" recubsValue"键,并给它一个整数。

- 我进行了两个活动,每次运行都有不同的错误

问题:

运行否:1错误

数据库操作失败。来自数据库执行的错误消息:errorCode = faileddboperation,'type = microsoft.datatransfer.common.shared.hybriddeliveryexception,message =错误=当将数据加载到sql data warehouse。,source = microsoft.datatrans.datatrans.clientlibrary,'type = system时发生了错误。data.sqlclient.sqlexception,message = org.apache.hadoop.io.io.text不能被施加到org.apache.hadoop.io.io.booleanwrable,source = .net sqlclient data Provider,sqlerrornumber,sqlerrornumber = 106000,class = 16,errorcode = 16,,errorcode = - - 2146232060,状态= 1,errors = [{class = 16,number = 106000,state = 1,message = org.apache.hadoop.io.io.text不能被施加到org.apache.apache.hadoop.io.io.booleanable,},'。

运行否:2错误

数据库操作失败。来自数据库执行的错误消息:errorCode = faileddboperation,'type = microsoft.datatransfer.common.shared.hybriddeliveryexception,message =错误=当将数据加载到sql data warehouse。,source = microsoft.datatrans.datatrans.clientlibrary,'type = system时发生了错误。data.sqlclient.sqlexception,message =,source = .net sqlclient数据提供商,sqlerrornumber = 106000,class = 16,errorCode = -2146232060,state = 1,errors = [{class = 16,number = 16,number = 106000,state = 1,= 1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,消息=,},],'。

以下是Azure数据工厂产品团队的答复:

就像Alexandre提到的那样,错误#1表示您在源红移上有一个值的文本列列,其中SQL DW中的相应列具有类型位。您应该能够通过使两个列类型彼此兼容来解决错误。

错误#2是polybase delelialization的另一个错误。不幸的是,错误消息还不够清楚,无法找出根本原因。但是,最近,产品团队对polybase负载的登台格式进行了一些更改,因此您不再看到这样的错误。您是否为失败的作业有Azure Data Factory RunID?产品团队可以看一下。

Power BI在线服务确实通过ODBC和本地数据网关(https://powerbi.microsoft.com/en-en-us/blog/blog/on-premises-data)来支持红移-gateway-august-update/)。您可以将后者安装在Azure或AWS的Windows VM上。

RedShift ODBC驱动程序在这里:http://docs.aws.amazon.com/redshift/latest/mgmt/install-odbc-driver-windows.html

否则,您的错误表明您的SQL DW表的一列没有预期的数据类型(您可能有char或varchar的位置。

相关内容

  • 没有找到相关文章