可以使用数据工厂从数据湖中删除文件



可以使用数据工厂从数据湖中删除文件吗?这样做非常困难,我坚持下去。

无法使用数据工厂删除文件。我发现数据工厂的主要用途是 ETL 业务流程。

如果你熟悉 .NET/Java 编码,我建议你创建一个将从 ADF 调用的 Azure 函数,它将删除一个文件。ADF 现在支持 Azure Functions(不需要使用 HTTP 触发器/Web 组件)

数据湖

上有一个用于文件操作的SDK,它包含从数据湖存储中删除文件的方法Delete。看看这个文档:https://learn.microsoft.com/en-us/azure/data-lake-store/data-lake-store-data-operations-net-sdk#see-also

删除方法:https://learn.microsoft.com/en-us/dotnet/api/microsoft.azure.datalake.store.adlsclient.delete?view=azure-dotnet

可以将文件的路径作为请求参数/标头从 ADF 传递到 Azure 函数的任何内容。希望这个建议可以为您工作。

最好的选择是创建一个 Azure Batch 来执行此操作。

https://learn.microsoft.com/en-us/azure/batch/

可以创建一个应用程序来删除文件并从数据工厂调用它。您也可以将文件作为参数传递。

相关内容

  • 没有找到相关文章

最新更新