无法使用 start-all.sh 在独立模式下启动 Spark 群集



我是Spark的新手,我正在尝试将Spark Independent安装到3节点集群中。我已经完成了从主节点到其他节点的无密码SSH。

我尝试了以下配置更改

  • 更新了 conf/slaves.sh 文件中 2 个节点的主机名。 创建了 spark-env.sh 文件并使用主 URL 更新了SPARK_MASTER_IP 另外,尝试了更新 Spark-defaults.conf 文件中的 Spark.master 值

    会议/从属的快照.sh

    # A Spark Worker will be started on each of the machines listed below.
    Spark-WorkerNode1.hadoop.com
    Spark-WorkerNode2.hadoop.com
    

spark-defaults.conf 的快照

    # Example:
      spark.master                     spark://Spark-Master.hadoop.com:7077

但是,当我尝试通过在主节点上运行 start-all.sh 来启动集群时,它无法识别工作节点并将集群作为本地启动。

它不会给出任何错误,日志文件在主服务器上显示已成功启动服务"sparkMaster"和已成功启动服务"sparkWorker"。

我尝试在单个节点上运行启动主和启动从脚本,它似乎工作正常。我可以在网络 UI 中看到 2 个工人。我正在使用火花 1.6.0

有人可以帮助我解决我在尝试运行开始时缺少的东西吗?

会议/从属的快照.sh

该文件应命名为 slaves,不带扩展名。

最新更新