如何在代码中设置纱线客户端

Question

我想在我的hortonworks数据平台上运行我的spark应用程序。在这个设置中，我没有一个spark master单机版，我想作为一个纱线客户端运行。

我正试图创建这样的SparkSession：

SparkSession
.builder()
.master("yarn-client")
.appName("my-app")
.getOrCreate())

我知道我丢失了一些属性，让spark客户端运行我的纱线服务器，但我似乎找不到这些属性。

目前，该应用程序只是挂起init，没有任何错误或异常。

你知道我缺少什么吗？

Answer 1

看起来你正试图在本地运行你的应用程序，而你的Hortonworks HDP在其他地方。

不同于Spark独立模式和Mesos模式，其中主机的地址在--master参数中指定，在YARN模式中ResourceManager的地址是从Hadoop配置中获取的。

因此，您的应用程序应该从Hortonworks本身运行，Hortonworks拥有所有Hadoop配置。