我正在尝试使用以下配置属性访问Spark java中的adls gen2。
fs.azure.account.auth.type
fs.azure.account.oauth.provider.type
fs.azure.account.oauth2.client.endpoint
fs.azure.account.oauth2.client.id
fs.azure.account.oauth2.client.secret
我已经创建了 blob 容器，并使用软件"Azure 存储资源管理器"版本 1.9 在其中上传了文件路径，例如https://devbdstreamsv2.dfs.core.windows.net/gen2container/adlsgen2/flat.json个。我正在尝试根据文档中提到的代码访问我正在使用的 abfs 文件路径。abfs[s]://<file_system>@<account_name>.dfs.core.windows.net/<path>/但我的疑问是我们没有在运行器代码中的任何位置初始化 abfs 文件路径。所以我得到异常" 方案没有文件系统：abfs "。如何解决此问题？我想知道使用 spark java for adls gen2 初始化 abfs 文件系统。
你需要一个Spark发行版，它在hadoop-azure JAR中具有abfs连接器。正常ASF版本中的hadoop-2.7.x JAR没有，因为abfs后来出现了(2.9+(