我有两个版本的Python(这实际上是两个conda环境(
/path/to/bin-1/python
/path/to/bin-2/python
我想从python的一个版本启动一个函数,该函数在另一个版本中使用类似multiprocessing.Process
对象的东西运行。事实证明,使用set_executable
方法是可行的
ctx = multiprocess.get_context('spawn')
ctx.set_executable('/path/to/bin-2/python')
事实上,我们可以看到,这实际上是使用可执行文件启动的:
def f(q):
import sys
q.put(sys.executable)
if __name__ == '__main__':
import multiprocessing
ctx = multiprocessing.get_context('spawn')
ctx.set_executable('/path/to/bin-2/python')
q = ctx.Queue()
proc = ctx.Process(target=f, args=(q,))
proc.start()
print(q.get())
$ python foo.py
/path/to/bin-2/python
但是路径错误
然而,当我用sys.path
而不是sys.executable
做同样的事情时,我发现宿主python进程的sys.path被打印出来,而不是我直接运行/path/to/bin-2/python -c "import sys; print(sys.path)"
时找到的sys.paath。
如果我使用fork,我已经习惯了这种事情。我本来希望'spawn'
的行为与我从shell输入python解释器的行为相同。
问题
是否可以使用多处理库来运行函数,并使用另一个Python可执行文件中的Queues,其环境与我从shell启动它时的环境相同?
更广泛地说,sys.path是如何填充的,以这种方式使用多处理和直接启动解释器之间有什么不同?
我遇到了同样的问题。我的系统范围的Python可执行文件位于/path/to/bin-1/python
,我使用virtualenv
创建了一个虚拟环境,其中包含/path/to/bin-2/python
的另一个Python可执行程序。为了为/path/to/bin-2/python
所需的派生进程设置正确的路径/环境,我最终将代码从virtualenv
文件夹中的activate_this.py
复制到了f(q)
。
def f(q):
import sys, os
def active_virtualenv(exec_path):
"""
copy virtualenv's activate_this.py
exec_path: the python.exe path from sys.executable
"""
# set env. var. PATH
old_os_path = os.environ.get('PATH', '')
os.environ['PATH'] = os.path.dirname(os.path.abspath(exec_path)) + os.pathsep + old_os_path
base = os.path.dirname(os.path.dirname(os.path.abspath(exec_path)))
# site-pachages path
if sys.platform == 'win32':
site_packages = os.path.join(base, 'Lib', 'site-packages')
else:
site_packages = os.path.join(base, 'lib', 'python%s' % sys.version[:3], 'site-packages')
# modify sys.path
prev_sys_path = list(sys.path)
import site
site.addsitedir(site_packages)
sys.real_prefix = sys.prefix
sys.prefix = base
# Move the added items to the front of the path:
new_sys_path = []
for item in list(sys.path):
if item not in prev_sys_path:
new_sys_path.append(item)
sys.path.remove(item)
sys.path[:0] = new_sys_path
return None
active_virtualenv(sys.executable)
q.put(sys.executable)
# check some unique package in this env.
import special_package
print "package version: {}".format(special_package.__version__)
if __name__ == '__main__':
import multiprocessing
multiprocessing.set_executable('/path/to/bin-2/python')
q = multiprocessing.Queue()
proc = multiprocessing.Process(target=f, args=(q,))
proc.start()
proc.join()
print(q.get())
标准输出:
$ python foo.py
/path/to/bin-2/python
package version: unique_version_only_in_virtualenv
有一点我不太确定,sys
和os
是active_virtualenv()
之前的import
ed,这意味着它们来自系统范围的Python环境。但我在f(q)
中需要的其他包来自虚拟环境。也许在切换env后重新import
是值得的。