运行spark-submit时没有名为caffe的模块

Question

在一个由一个主节点和一个工作节点组成的spark独立集群上运行spark-submit时，由于ImportError: No module named caffe错误，caffe python模块没有被导入

当我在本地运行作业时，这似乎不是一个问题spark-submit --master local script.py caffe模块导入得很好。

spark和caffe的环境变量当前设置在~/.profile下，它们指向PYTHONPATH。

~/.profile是设置这些变量的正确位置吗?或者可能需要一个系统范围的配置，例如在/etc/profile.d/

Answer 1

请注意，CaffeOnSpark团队将Caffe移植到由Hadoop和Spark支持的分布式环境中。我可以99.99%肯定，在Spark集群或任何分布式环境中，您不能单独使用Caffe (不做任何修改)。(Caffe团队正在研究这个)。

如果您需要使用Caffe进行分布式深度学习，请按照https://github.com/yahoo/CaffeOnSpark/wiki/build中提到的构建方法构建CaffeOnSpark，并使用CaffeOnSpark而不是Caffe。

但是，最好的选择是遵循GetStarted_standalone wiki或GetStarted_yarn wiki来创建一个分布式环境来进行深度学习。

此外，要添加python，请通过GetStarted_python wiki。

同样，因为你提到你在这里使用Ubuntu，请使用~/.bashrc来更新环境变量。您必须在更改后提供文件来源:source ~/.bashrc