小贝子编程

我的管道应该读取具有". parquet"的文件以及没有". parquet "扩展名的镶木地板文件？

本文关键字：文件 parquet 扩展名木地板管道读取 azure azure-pipelines azure-data-factory parquet azure-synapse
更新时间 : 2023-09-20
英文 : My pipeline should read the files which have ". parquet" and also the parquet files without ". parquet " extension?

我的管道应该读取具有"的文件；。镶木地板"；以及没有"的镶木地板锉刀；。镶木地板"；扩大如何在Synapse管道中实现这两个目标？

您正在使用通配符路径来复制镶木地板文件。当您使用通配符路径时，您违反了以下规则。

将处理所有与通配符路径匹配的文件覆盖数据集中设置的文件夹和文件路径。

有些文件的扩展名为.parquet，而有些文件没有.parquet扩展名。这是不允许的。

您需要拥有扩展名为.parquet或不扩展名为-parquet的所有文件。

请参阅-https://learn.microsoft.com/en-us/azure/data-factory/format-parquet#source-属性

相关内容