我们在pyspark的工作节点上使用cv2(opencv-python(,所以我们使用conda pack
和--archive
通过yarn集群准备环境,但是我们在运行过程中遇到了错误
ImportError: libgthread-2.0.so.0: cannot open shared object file: No such file or directory
但是,我们检查生成的environment.zip
conda pack
,其中有很多.so
文件。
一般来说,如果.so
存在,解决方案是通过系统环境变量添加lib路径或在python 3中添加/etc/ld.so.conf.d
,但如果是这样,许多依赖于.so
文件的python包都会引发错误,但这是我第一次看到这个错误,这是由cv2引起的
conda pack
使用 ubuntu 14,yarn OS 版本是 ubuntu 16
可能的原因是什么?conda 在使用纱线簇时如何处理conda pack
zip 文件?
我们已经找到了答案,它是相对于opencv版本的
到目前为止,我们找到了opencv==3.4.2
作品