为什么 pyspark 在 macOS 上提供"we couldn't find any external IP address"?



我使用pyspark并在下面收到警告。有人可以告诉我如何解决它吗?这是我应该担心的事情吗?

法典:

lines = sc.textFile("README.md") #worked
lines.count() #error 

警告:

16/02/24 08:20:39 警告:您的主机名 a.local 解析为环回/无法访问的地址:fe80:0:0:0:f09c:b1ff:fef2:170c%awdl0,但我们找不到任何外部 IP 地址!

Spark 将您的

主机名解析为一个地址,以便在节点(驱动程序和执行程序)之间为 Spark 应用程序建立通信通道。

看起来你的机器有各种名称(可能在/etc/hosts),其中一些没有解析Spark可以使用。

您可以使用环境变量显式将本地主机名显式设置为 localhost(这可能是可解析的SPARK_LOCAL_HOSTNAME以便spark-shell,如下所示:

SPARK_LOCAL_HOSTNAME=localhost ./bin/spark-shell

或:

./bin/spark-shell -c spark.driver.host=localhost

有关详细信息,请参阅文档中的环境变量。

$SPARK_HOME/conf/spark-env.sh中添加本地路径:

SPARK_LOCAL_IP=127.0.0.1

相关内容

最新更新