Spark 在 Windows 上手动启动主节点时挂起/失败



我正在尝试在 Windows 7 上的 Spark (2.1.0( 上手动启动主节点,但该过程在设置之前挂起。

$ binspark-class org.apache.spark.deploy.master.Master
17/05/17 14:23:52 WARN NativeCodeLoader: Unable to load native-hadoop 
library for your platform... using builtin-java classes where applicable

它无限期地卡在这里(超过 10 分钟(

我的 spark 安装工作正常,否则,我已经使用 pyspark 使用 pyspark --master local[x] 在本地编写和运行脚本。我正在使用 winutils,因为它是在独立模式下运行的。

此外,我还有另外 2 台我希望用作工作线程的机器,当我在它们上运行此命令时,它们工作正常(设置几乎是即时的(,并且所有环境变量在这些工作线程上的设置似乎与我的(预期(主节点相同。

对于遇到此问题的其他任何人,我不知道原因,但是在同一位置放置了spark的全新下载解决了问题。

最新更新