HADOOP_CONF_DIR已设置仍然出错，则必须在环境中设置HADOOP_CONF_DIR或YARN_CONF_DI

Question

尝试使用 YARN 在集群上运行一个简单的应用程序。我已经设置了两者

export HADOOP_HOME = /usr/local/hadoop
export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop

spark-env.sh 文件中我仍然收到此错误。

我还需要更改其他一些文件吗？ 是否有任何文档，我哪里出错了？

Answer 1

我设法通过在用户 .profile 文件中编写这些行来修复它。 所以在运行命令之前必须一遍又一遍地编写它 否则就做

export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop/conf

在运行 Spark-submit 命令之前。