如何将Apache Spark与SparkContext的纱线连接



我已经使用Eclipse在Java中开发了Spark应用程序。
到目前为止,我通过将主地址配置为"本地[*]'。
,我正在使用独立模式现在我想在纱线集群中部署此应用程序。
我发现的唯一官方文件是http://spark.apache.org/docs/latest/running-on-yarn.html

与在Mesos群集或独立中部署的文档不同(http://spark.apache.org/docs/latest/running-on-mesos.html),在SparkContext中没有任何URL可用于SparkContext大师的地址。
显然,我必须使用行命令在纱线上部署火花。

您是否知道是否有一种方法可以在SparkContext中配置Master的Adress,例如独立和Mesos模式?

实际上有一个URL。

确保HADOOP_CONF_DIRYARN_CONF_DIR指向包含Hadoop群集的(客户端)配置文件的目录。这些配置用于写入HDF并连接到Yarn ResourceManager

您应该至少具有hdfs-site.xmlyarn-site.xmlcore-site.xml文件,以指定您连接到的Hadoop群集的所有设置和URL。

yarn-site.xml的一些属性包括yarn.nodemanager.hostnameyarn.nodemanager.address

由于地址为${yarn.nodemanager.hostname}:0的默认值,因此您可能只需设置主机名即可。

相关内容

  • 没有找到相关文章

最新更新