有没有办法将我现有的环境(已经安装了所有内容(传输/复制到服务器?
$ conda env export > environment.yaml
- 我已经使用上面的命令来创建.yaml文件
- 任何人都可以告诉我如何在服务器端使用此文件吗?
spark-submit --properties-file config.properties --jars /home/PycharmProjects/spark-excel_2.11-0.11.1.jar,/home/PycharmProjects/mongo-spark-connector_2.11-2.4.1.jar /home/PycharmProjects/NewConnection.py 9dhd38910242a7b9793ed3
- 使用上述命令通过激活 conda 环境在本地系统上运行。
- 所以我的下一步是在服务器端运行相同的代码
首先,我们需要使用以下命令打包 conda env
-
激活您要打包的conda env,然后使用以下命令
(your_conda_env) vishal@vishal-linux:~$ conda pack -n your_conda_env
-
打包您的环境后,它将创建"your_conda_env.tar.gz"文件夹
-
您可以在服务器(或任何其他机器(上移动此文件夹,并使用以下命令运行您的 Spark 作业
PYSPARK_PYTHON=/home/vishal/your_conda_env/bin/python spark-submit --properties-file config.properties --jars /home/PycharmProjects/spark-excel_2.11-0.11.1.jar,/home/PycharmProjects/mongo-spark-connector_2.11-2.4.1.jar /home/PycharmProjects/NewConnection.py 9dhd38910242a7b9793ed3