我使用pyspark
并在下面收到警告。有人可以告诉我如何解决它吗?这是我应该担心的事情吗?
法典:
lines = sc.textFile("README.md") #worked
lines.count() #error
警告:
16/02/24 08:20:39 警告:您的主机名 a.local 解析为环回/无法访问的地址:fe80:0:0:0:f09c:b1ff:fef2:170c%awdl0,但我们找不到任何外部 IP 地址!
主机名解析为一个地址,以便在节点(驱动程序和执行程序)之间为 Spark 应用程序建立通信通道。
看起来你的机器有各种名称(可能在/etc/hosts
),其中一些没有解析Spark可以使用。
您可以使用环境变量显式将本地主机名显式设置为 localhost
(这可能是可解析的SPARK_LOCAL_HOSTNAME
以便spark-shell
,如下所示:
SPARK_LOCAL_HOSTNAME=localhost ./bin/spark-shell
或:
./bin/spark-shell -c spark.driver.host=localhost
有关详细信息,请参阅文档中的环境变量。
在$SPARK_HOME/conf/spark-env.sh
中添加本地路径:
SPARK_LOCAL_IP=127.0.0.1