Apache Spark 独立更改执行者用户名



>我在Ubuntu下以独立模式使用Apache Spark

我正在尝试将文件保存到 nfs 主机上的位置。

Spark 工作线程是在对我尝试保存到的文件夹具有权限的用户下启动的。

我将文件夹的权限更改为 777,但仍然收到错误 - 在 nfs 下创建新文件夹时。

创建了一个文件夹,然后它无法在其中创建任何新内容。

新文件夹具有旧权限,再次不允许Spark执行程序向其写入任何内容。

我该如何解决这个问题?

用户名没有问题,问题是 nfs 服务器,连接到它时,我停留在与客户端计算机相同的 uid 中,这不适合 NFS 服务器中的所有者 UID,修复程序将转到 NFS 主机中的/etc/exports 文件 并添加此行/var/general/nfs *(rw,sync,no_root_squash,all_squash,anonuid=1000,anongid=1000,no_subtree_check)

它将所有传入的 NFS 连接设置在正确的 UID 下以控制位置

最新更新