在服务器中创建的Python Virtualenv中对Livy执行批处理作业

Question

我正在尝试使用 livy 上的批处理作业执行 python 文件

网址：http://<server-host>:8998/batches

身体：

{
"file": "hdfs://localhost:9000/sample.py"
}

我想在已经在服务器上创建的python virtualenv中执行此文件。我是 livy 的新手，有人可以帮我解决这个问题吗？

Answer 1

添加以下要使用的python(虚拟环境(配置解决了我的问题

{
"file": "hdfs://localhost:9000/sample.py",
"conf": {
"spark.pyspark.python": "/opt/project/project_env/bin/python"
}
}

谢谢。