Windows上的Pyspark:WARN无法加载NativeSystemBLAS和NativeRefBLAS



我是Spark的新手。我在Windows 10中安装了Spark 2.3.0,以便使用PySpark。 我使用 Pyspark 编写了一段代码,然后当我运行它时,它会给我以下警告:

WARN  BLAS:61 - Failed to load implementation from: com.github.fommil.netlib.NativeSystemBLAS
WARN  BLAS:61 - Failed to load implementation from: com.github.fommil.netlib.NativeRefBLAS

我在网上搜索并找到了一些解决方案,但步骤对我来说并不清楚,而且大多数是针对 Ubuntu 而不是 Windows。

我认为解决方案是安装 BLAS 和 LAPACK,我从这里下载了二进制包 OpenBLAS https://sourceforge.net/projects/openblas/files/

但是我不知道下一步该怎么做才能安装它们以供 Spark 使用?

这可以通过彻底阅读 https://github.com/fommil/netlib-java/指南来解决。

很可能是以下原因之一或两者兼而有之:

  1. 您没有使用-Pnetlib-lgpl编译 Apache spark,也没有添加com.github.fommil.netlib:all:1.1.2作为依赖项。没有它,将不会使用外部库。构建很简单,请参阅无法加载实现 NativeSystemBLAS HiBench
  2. 您的系统不知道在哪里可以找到库。确保它们在%PATH%以便netlib可以找到它们。

同样,阅读指南是有意义的 https://github.com/fommil/netlib-java/

最新更新