无法从远程计算机启动/停止 Spark 工作线程

Question

我有两台机器A和B。我正在尝试在机器A上运行Spark Master，在机器B上运行Spark Workers。我已经在我的 Spark 目录中conf/slaves设置了机器 B 的主机名。

当我执行start-all.sh以启动主节点和工作服务器时，我在控制台上收到以下消息：

abc@abc-vostro:~/spark-scala-2.10$ sudo sh bin/start-all.sh 
sudo: /etc/sudoers.d is world writable
starting spark.deploy.master.Master, logging to /home/abc/spark-scala-2.10/bin/../logs/spark-root-spark.deploy.master.Master-1-abc-vostro.out
13/09/11 14:54:29 WARN spark.Utils: Your hostname, abc-vostro resolves to a loopback address: 127.0.1.1; using 1XY.1XY.Y.Y instead (on interface wlan2)
13/09/11 14:54:29 WARN spark.Utils: Set SPARK_LOCAL_IP if you need to bind to another address
Master IP: abc-vostro
cd /home/abc/spark-scala-2.10/bin/.. ; /home/abc/spark-scala-2.10/bin/start-slave.sh 1 spark://abc-vostro:7077
xyz@1XX.1XX.X.X's password: 
xyz@1XX.1XX.X.X: bash: line 0: cd: /home/abc/spark-scala-2.10/bin/..: No such file or directory
xyz@1XX.1XX.X.X: bash: /home/abc/spark-scala-2.10/bin/start-slave.sh: No such file or directory

主服务器已启动，但工作线程无法启动。

我已经在我的 Spark 目录中设置了xyz@1XX.1XX.X.X conf/slaves。

谁能帮我解决这个问题？这可能是我缺少任何配置的东西。

但是，当我在同一台机器上创建Spark Master和Worker 时，它工作正常。

Answer 1

您是否也复制了 worker 的所有 Spark 文件？此外，您还需要设置无密码访问黑白主节点和辅助角色。

Answer 2

以下是我将遵循的步骤，

• 通过 SSH 设置公钥身份验证
检查/etc/spark/
• conf.dist/spark-env.sh
• 从计算机 A（主）将其 scp 到您的计算机 B
• 设置计算机 B 的 conf/slaves、主机名
• ./start-all.sh

对于独立集群模式，您可以在 spark-env.sh 中设置这些选项。例如

• 导出SPARK_WORKER_CORES=2
• 导出SPARK_WORKER_INSTANCES=1
• 导出SPARK_WORKER_MEMORY=4G

Answer 3

参见 Michael 在 Hadoop 多节点集群设置中的 SSH ACCESS。 就这样....将解决您的问题。

http://www.michael-noll.com/tutorials/running-hadoop-on-ubuntu-linux-multi-node-cluster/