如何将火花壳连接到梅索斯

Question

我正在尝试设置 Apache Spark 以在 Mesos 上运行，但我在终端上收到以下消息：

W0309 10：37：10.570291 4017 计划.cpp：700]忽略框架注册的消息，因为它是从"master@127.0.1.1：5050"而不是从主要主节点"master@127.0.0.1：5050"发送的

此消息一直出现在火花外壳上，我无法运行任何命令。我使用以下命令启动了火花外壳：

./bin/spark-shell --master mesos://127.0.0.1:5050 --conf spark.executor.uri=/home/user/spark/spark-1.6.0-bin-hadoop2.6.tgz

当我在Mesos WebUI上检查框架选项卡时，Spark Shell被列为框架。

知道为什么我遇到上述消息并且无法从 spark-shell 运行命令吗？或者，在 Mesos 上运行 Spark 有什么好的参考吗？

Answer 1

我将在这里做一些问题工作，但我假设您在启动mesos-master.sh时没有指定--ip参数。在这种情况下，您应该将启动脚本更改为：

./bin/spark-shell --master mesos://127.0.1.1:5050 --conf spark.executor.uri=/home/user/spark/spark-1.6.0-bin-hadoop2.6.tgz

我猜你的/etc/hosts中有一个127.0.1.1条目（或系统上用于该分辨率的任何文件），并且 Mesos 默认解析为127.0.1.1。如果出于某种原因，可以使用 ip 参数将其更改为 127.0.0.1。