将本地 Python 脚本连接到远程 Spark Master

Question

我正在使用带有Spark独立集群的python 2.7。

当我在运行 python 脚本的同一台机器上启动主服务器时，它工作顺利。

当我在远程计算机上启动主服务器并尝试在本地计算机上启动 Spark 上下文以访问远程 Spark 主机时。 什么也没发生，我得到了按摩，说任务没有得到任何资源。

当我访问主的UI时，我看到了这份工作，但什么也没发生，它就在那里。

如何通过本地 python 脚本访问远程 Spark master？

谢谢。

编辑： 我读到为了做到这一点，我需要在集群模式(不是客户端模式(下运行集群，我发现当前独立模式不支持 python 应用程序。

想法？

Answer 1

为了做到这一点，我需要在集群模式(不是客户端模式(下运行集群，我在这里发现当前独立模式不支持 python 应用程序的此功能。