Apache Spark Native Libraries

Question

我最近能够构建具有本机64位支持的Apache Hadoop 2.5.1。所以，我去掉了烦人的本地图书馆警告。

我正在尝试配置Apache Spark。当我启动火花壳时，同样的警告出现：

14/09/14 18:48:42 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable

一些提示：

我不得不下载Spark的预构建2.4版本，因为仍然没有使用Maven的Hadoop2.5的配置文件。

以下导出已添加到spark-env.sh中：

export HADOOP_CONF_DIR=/opt/hadoop-2.5.1/etc/hadoop
export SPARK_LIBRARY_PATH=/opt/hadoop-2.5.1/lib/native

不适用于spark shell和spark submit。我的Hadoop本地安装配置为伪分布式（ResourceManager+YARN支持）。

Answer 1

您应该将HADOOP_HOME/lib/native添加到LD_LIBRARY_PATH:

export LD_LIBRARY_PATH=$HADOOP_HOME/lib/native