Windows上的Pyspark:WARN无法加载NativeSystemBLAS和NativeRefBLAS

Question

我是Spark的新手。我在Windows 10中安装了Spark 2.3.0，以便使用PySpark。 我使用 Pyspark 编写了一段代码，然后当我运行它时，它会给我以下警告：

WARN  BLAS:61 - Failed to load implementation from: com.github.fommil.netlib.NativeSystemBLAS
WARN  BLAS:61 - Failed to load implementation from: com.github.fommil.netlib.NativeRefBLAS

我在网上搜索并找到了一些解决方案，但步骤对我来说并不清楚，而且大多数是针对 Ubuntu 而不是 Windows。

我认为解决方案是安装 BLAS 和 LAPACK，我从这里下载了二进制包 OpenBLAS https://sourceforge.net/projects/openblas/files/

但是我不知道下一步该怎么做才能安装它们以供 Spark 使用？

Answer 1

这可以通过彻底阅读 https://github.com/fommil/netlib-java/指南来解决。

很可能是以下原因之一或两者兼而有之：

1. 您没有使用-Pnetlib-lgpl编译 Apache spark，也没有添加com.github.fommil.netlib:all:1.1.2作为依赖项。没有它，将不会使用外部库。构建很简单，请参阅无法加载实现 NativeSystemBLAS HiBench
2. 您的系统不知道在哪里可以找到库。确保它们在%PATH%以便netlib可以找到它们。

同样，阅读指南是有意义的 https://github.com/fommil/netlib-java/