Datastax Spark worker总是在127.0.0.1处寻找master

Question

我正试图通过使用"dse cassandra -k -s"将datastax cassandra引入分析模式。我在单节点设置上使用DSE 5.0沙箱。

我已经在spark-env.sh中配置了SPARK_MASTER_IP和SPARK_LOCAL_IP来指向我的局域网IP。

export SPARK_LOCAL_IP="172.40.9.79"
export SPARK_MASTER_HOST="172.40.9.79"
export SPARK_WORKER_HOST="172.40.9.79"
export SPARK_MASTER_IP="172.40.9.79"

以上所有变量都在spark-env.sh中设置。

尽管如此，工人不会上来。它总是在127.0.0.1处寻找主人。这是我在/var/log/cassandra/system.log

中看到的错误。

WARN  [worker-register-master-threadpool-8] 2016-10-04 08:02:45,832 SPARK-WORKER Logging.scala:91 - Failed to connect to master 127.0.0.1:7077
java.io.IOException: Failed to connect to /127.0.0.1:7077

dse client-tool的结果显示127.0.0.1

$ dse client-tool -u cassandra -p cassandra spark master-address
spark://127.0.0.1:7077

但是我能够从LAN IP 172.40.9.79访问spark web UI

Spark Web UI截图

任何帮助都非常感谢

Answer 1

尝试在spark-defaults.conf文件中添加这个参数:spark。主本地[*]或spark。掌握172.40.9.79。也许这能解决你的问题