可以使用数据工厂从数据湖中删除文件吗?这样做非常困难,我坚持下去。
无法使用数据工厂删除文件。我发现数据工厂的主要用途是 ETL 业务流程。
如果你熟悉 .NET/Java 编码,我建议你创建一个将从 ADF 调用的 Azure 函数,它将删除一个文件。ADF 现在支持 Azure Functions(不需要使用 HTTP 触发器/Web 组件)
数据湖上有一个用于文件操作的SDK,它包含从数据湖存储中删除文件的方法Delete。看看这个文档:https://learn.microsoft.com/en-us/azure/data-lake-store/data-lake-store-data-operations-net-sdk#see-also
删除方法:https://learn.microsoft.com/en-us/dotnet/api/microsoft.azure.datalake.store.adlsclient.delete?view=azure-dotnet
可以将文件的路径作为请求参数/标头从 ADF 传递到 Azure 函数的任何内容。希望这个建议可以为您工作。
最好的选择是创建一个 Azure Batch 来执行此操作。
https://learn.microsoft.com/en-us/azure/batch/
可以创建一个应用程序来删除文件并从数据工厂调用它。您也可以将文件作为参数传递。