Azure Data Lake Storage Gen1 元数据(在文件夹结构和大小信息方面)到 Power BI 中



在 Azure 门户上 - 我有几个"Data Lake Storage Gen1"资源,我需要构建一个可以显示 1. 存储信息(资源上驻留了多少数据( 2. 文件夹级别的存储信息(至少在 2 级之前(,如下所示 Parent_Folder (10TB( Sub_Folder_1 (3TB( Sub_Folder_2 (6TB( Sub_Folder_3(1TB(

此数据应作为报表显示在 Power BI 中 - 以便我们可以让多个用户查看此数据。

我了解 - 目前这在 Azure 门户中可用 - 但这里有一个要求,以便某些平台和运营团队通过 Power BI Dashbaord 轻松获取它 - 这样他们就不需要访问 Azure 门户并查找导航到此资源。

这可行吗?如果是 - 你能帮我解决什么选项 - 我可以从 ADLS 检索此元数据,以及应该在 Azure 门户中的资源上授予哪些凭据/角色?

谢谢 阿拉文德

可以从 Azure 数据湖存储 API 获取元数据。链接中的更多详细信息

https://learn.microsoft.com/en-us/rest/api/datalakestore/webhdfs-filesystem-apis

它将返回一个 JSON 对象。

它将根据文件夹提供文件大小,它还概述了您需要的权限。我会设置一个数据流来命中 API,然后将返回的 JSON 转换为有用的内容。如果您使用的是 ADL 并且正在使用 Azure Datalake Analytics 或 Azure Databricks,也可以使用这些来获取文件夹列表并循环访问它们以获取信息。

最新更新