异常：java.lang.Exception：使用主'yarn'运行时，必须在环境中设置HADOOP_CONF_DIR或YARN_CONF_DIR。在火花中

Question

我是新的阿帕奇火花。我已经在 Spark 独立模式下测试了一些应用程序，但我想运行应用程序纱线模式。我在窗口中运行 apache-spark 2.1.0。这是我的代码

c:spark>spark-submit2 --master yarn --deploy-mode client --executor-cores 4 --jars C:DependencyJarsspark-streaming-eventhubs_2.11-2.0.3.jar,C:DependencyJarsscalaj-http_2.11-2.3.0.jar,C:DependencyJarsconfig-1.3.1.jar,C:DependencyJarscommons-lang3-3.3.2.jar --conf spark.driver.userClasspathFirst=true --conf spark.executor.extraClassPath=C:DependencyJarscommons-lang3-3.3.2.jar --conf spark.executor.userClasspathFirst=true --class "GeoLogConsumerRT" C:sbtazuretargetscala-2.11azuregeologproject_2.11-1.0.jar

例外：使用主"纱线"运行时，必须在环境中设置HADOOP_CONF_DIR或YARN_CONF_DIR。 在火花中

所以从搜索网站。我已经创建了一个文件夹名称Hadoop_CONF_DIR并放置了 hive 站点.xml并在其中指向环境变量，之后我运行了 spark-submit，然后我得到了

连接被拒绝异常我想我无法正确配置纱线模式设置。谁能帮我解决这个问题？我需要单独安装 Hadoop 和 yarn 吗？我想在伪分布式模式下运行我的应用程序。请帮助我在窗口中配置纱线模式，谢谢

Answer 1

您需要

导出两个变量HADOOP_CONF_DIR和YARN_CONF_DIR以使配置文件对纱线可见。如果您使用的是 linux，请在 .bashrc 文件中使用以下代码。

export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop
export YARN_CONF_DIR=$HADOOP_HOME/etc/hadoop

在窗口中，您需要设置环境变量。

希望这有帮助！

Answer 2

如果您使用 Yarn 运行 Spark，那么您最好需要将其添加到spark-env.sh：

export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop