如何为pyarrow设置libhdfs.so的路径

Question

我正在尝试使用pyarrow，但一直收到以下错误。

ImportError: Can not find the shared library: libhdfs3.so

所以我读了一些stackoverflow，它说我需要为ARROW_LIBHDFS_DIR设置environment变量
libhdfs.so的路径是/usr/local/hadop/native/
它试图在bashrc中设置它，但它不起作用
conda安装似乎不起作用，即

conda install libhdfs3
pip install libhdfs3
conda install -c clinicalgraphics libgcrypt11
conda install libprotobuf=2.5
conda update libhdfs3 

如果我得到这个，那将是一个很大的帮助。提前谢谢。

Answer 1

确保libhdfs.so在$HADOOP_HOME/lib/native和$ARROW_LIBHDFS_DIR中

使用该选项可以检查bash环境ls $ARROW_LIBHDFS_DIR中是否设置了变量

如果未使用定位文件locate -l 1 libhdfs.so

使用将找到的目录路径指定给ARROW_LIBHDFS_DIR变量ARROW_LIBHDFS_DIR=<directory location to libhdfs.so>

此处参考SO-https://stackoverflow.com/a/62749351/6263217