尝试将数据帧火花保存到hdfs文件时出错

Question

我正在使用Ubuntu

当我试图将数据帧保存到HDFS(Spark Scala(时：

processed.write.format("json").save("hdfs://localhost:54310/mydata/enedis/POC/processed.json")

我收到这个错误

由：org.apache.hadop.ipc.RemoteException(org.apache.haop.security.AccessControlException(引起：权限被拒绝：user=root，access=WRITE，inode="mydata/enedis/POC"：hadoop_amine:超群：drwxr-xr-x

Answer 1

您正试图以root用户的身份写入数据，但hdfs目录(/mydata/enedis/POC(具有hadoop_amine用户写入该目录的权限。

更改HDFS目录上的权限以允许root用户写入/mydata/enedis/POC目录。

#login as hadoop_amine user then execute below command
hdfs dfs –chmod -R 777  /mydata/enedis/POC

---

(Or)

使用hadoop_amine用户初始化spark shell，然后无需更改目录的权限。