将四个并行运行的 python 程序的输出保存到不同的日志文件中

Question

我有四个不同的程序正在运行，这些程序是使用单个python程序启动的。

import os                                                                       
from multiprocessing import Pool 
import sys   
processes = ('p1.py', 'p2.py', 'p3.py','p4.py')
def run_process(process):                                                             
os.system('python3 {}'.format(process)) 
pool = Pool(processes=4)                                                        
pool.map(run_process, processes)

目前，我正在使用Nohuppmain.py>test.log在单个文件中获取所有程序的日志 但是我如何在不同的日志文件中分别获取p1，p2，p3和p4的四个不同日志。

Answer 1

一个简单的解决方法是，

import os                                                                       
from multiprocessing import Pool 
import sys   
processes = ('p1.py > p1.log', 'p2.py > p2.log', 'p3.py > p3.log','p4.py > p4.log')
def run_process(process):                                                             
os.system('python3 {}'.format(process)) 
pool = Pool(processes=4)                                                        
pool.map(run_process, processes)

但不要做上述操作。

正确的方法是将subprocess与类似的东西一起使用，

import subprocess
processes = ('p1.py', 'p2.py', 'p3.py','p4.py')
procs = []
for pname in processes:
logfile = os.path.splitext(pname)[0] + '.log'
with open(logfile, 'w') as f:
proc = subprocess.Popen(['python3', pname], stdout=f)
procs.append(proc)
for proc in procs:
proc.wait()