使用ADF将元数据添加到数据湖文件中



Azure Data Factory v2有一个获取元数据活动,可以读取ADLS中存储的文件上的元数据。它可以在移动/复制文件时保留文件上的元数据。但是有没有一种方法可以使用ADF添加或修改lake文件上的元数据?

是的,有办法。

你可以使用Azure Blob存储API:

为blob存储设置blob元数据方法

数据湖只是底层Blob存储引擎的扩展

因此,您可以在管道中挂接一个web活动,并调用指向blob的rest api,它将为您设置元数据。

文件上传到.后,元数据由data Lake(Storage(创建

除非您删除并重新上传到Data Lake(或Stroage(,否则这些属性无法更改。其他一些人也提出了同样的问题,即如何在堆栈溢出中更改此元数据。你可以很容易地通过搜索找到这些。

但如果在数据湖中修改文件的内容,例如添加或删除列,则可以更改sizecolumnCountstructure

因此,对于";有没有办法使用ADF添加或修改lake文件上的元数据&";,答案是否定的,没有。

HTP。

最新更新