我已经使用Eclipse在Java中开发了Spark应用程序。
到目前为止,我通过将主地址配置为"本地[*]'。
,我正在使用独立模式现在我想在纱线集群中部署此应用程序。
我发现的唯一官方文件是http://spark.apache.org/docs/latest/running-on-yarn.html
与在Mesos群集或独立中部署的文档不同(http://spark.apache.org/docs/latest/running-on-mesos.html),在SparkContext中没有任何URL可用于SparkContext大师的地址。
显然,我必须使用行命令在纱线上部署火花。
您是否知道是否有一种方法可以在SparkContext中配置Master的Adress,例如独立和Mesos模式?
实际上有一个URL。
确保
HADOOP_CONF_DIR
或YARN_CONF_DIR
指向包含Hadoop群集的(客户端)配置文件的目录。这些配置用于写入HDF并连接到Yarn ResourceManager
您应该至少具有hdfs-site.xml
,yarn-site.xml
和core-site.xml
文件,以指定您连接到的Hadoop群集的所有设置和URL。
yarn-site.xml
的一些属性包括yarn.nodemanager.hostname
和yarn.nodemanager.address
。
由于地址为${yarn.nodemanager.hostname}:0
的默认值,因此您可能只需设置主机名即可。