为什么 h2o 需要对 hdfs 根目录进行写入访问?

  • 本文关键字:访问 根目录 hdfs h2o h2o
  • 更新时间 :
  • 英文 :


看到错误消息

作业设置失败:org.apache.hadoop.security.AccessControlException:权限被拒绝:user=airflow,access=WRITE,inode="/":hdfs:hdfs:drwxr-xr-x at org.apache.hadoop.hdfs.server.namenode.FSPermissionChecker.check(FSPermissionChecker.java:399( at ...

尝试连接以启动h2o群集 (H2O-3.28.0.1-HDP3.1( 时。也就是说,它似乎不喜欢根 hdfs dirhdfs:///没有我的用户的写入权限(并且通过 ranger 向我的用户授予写入访问权限似乎确实可以解决问题(,但这似乎是错误的。

根据过去的经验,我已经看到启动用户对自己的hdfs:///user/<username>文件夹没有写入权限的情况,但对我来说似乎很奇怪,h2o 希望用户对整个顶级 hdfs 目录具有写入访问权限。这正常吗?我可以更改此设置吗?


可能相关:发现启动集群后,无法在 YARN 资源管理器 UI 中手动终止或终止 PID,而是需要转到 h2o 群集 url 并使用管理选项卡关闭群集。知道为什么会发生这种情况吗?

发现了问题,现在找不到文档/其他后细节,但基本上,在运行hadoop jar h2odriver.jar ...命令时,有一个名为-output的可选参数,您通常会在其中放置一些hdfs 位置,h2o 将写入内容(据我所知,这是一些不太重要的遗留目录(。

我忘记了这是一个HDFS位置,并放置了一些本地临时文件夹的绝对路径。该错误是因为 h2o 试图通过在 hdfs 中创建通向它的整个路径来创建该文件夹,因此需要能够从 hdfs 根目录写入。正确的值类似于/user/<username>.

相关内容

  • 没有找到相关文章

最新更新