我有一个 3 节点 Spark 独立集群,在主节点上我还有一个工作线程。当我向集群提交应用程序时,另外两个工作线程开始运行,但主节点上的工作线程保持状态为 LOAD,最终在其他一台计算机上启动另一个工作线程。
在同一节点上拥有工作线程和主节点是问题吗?如果是,有没有办法解决这个问题,或者我永远不应该在同一节点上拥有工作线程和主节点?
附言每台机器有 8 个内核,工作线程设置为使用 7 个而不是全部 RAM
是的,你可以,这是来自Spark web文档:
除了在 Mesos 或 YARN 集群管理器上运行之外,Spark 还提供了一个简单的独立部署模式。您可以通过手动启动主集群和辅助集群来手动启动独立集群,也可以使用我们提供的启动脚本启动集群。也可以在一台机器上运行这些守护程序进行测试。
同时托管工作线程和主节点的计算机。
您是否可能错误地配置了该特定计算机上的spark-env.sh
?