Python多进程运行多次

Question

我正试图同时运行两个python文件(A.py和B.py(。我试着用两个不同的命令运行它们，并使用两个单独的命令来运行它们，效果很好。

问题是，我希望有一个脚本文件来并行运行它们。我在中尝试了如下代码的多重处理：

if __name__ == '__main__':
jobs=[]
jobs.append(Process(target=A.start))
jobs.append(Process(target=B.start))
for job in jobs:
job.start()
for job in jobs:
job.join()

结果是它运行A和B两次，我希望它们每个只运行一次

问题的原因是什么？我该如何解决？或者还有其他解决方案可以让我并行运行两个python文件吗？

感谢您提前提供的帮助。

对于我的导入信息，我有三个文件：A.py、B.py和run.py.

在A.py中，我有：

from scapy.all import *
from scapy.layers.http import HTTPRequest 
from scapy.layers.http import HTTPResponse
from colorama import init, Fore
import docker
import time
import redis

在B.py中，我有：

import json
import docker
import socket
import time
import psutil
import socket
import redis
import prometheus_client
from prometheus_client import Gauge,Counter
from prometheus_client.core import CollectorRegistry
from flask import Response, Flask

在运行.py中，我有：

from multiprocessing import Process
import A
import B

===更新问题原因======

在玩了几个小时的代码后，我想我找到了原因，但我不明白为什么。

原因在我的A.py文件中，我有一个代码

#flask starts
app.run(host="0.0.0.0", port=15600,debug=True)

如果我删除了调试模式，代码运行良好。只有在调试模式打开时才会出现问题。

有人知道为什么会这样吗？

Answer 1

我想您要找的是multiprocessing.Pool，特别是Pool.apply_async。这将允许您异步启动单独的进程，这些进程将并行执行不相关的任务。你可以这样使用它：

A.py:

def square(x):
print('x squared is: ' + str(x**2))

B.py:

def cube(x):
print('x cubed is: ' + str(x**3))

然后：

import multiprocessing as mp
import A
import B
p = mp.Pool(2)
a = p.apply_async(A.square, args=(5,))
b = p.apply_async(B.cube, args=(7,))
p.close()

---

---

更新

好吧，考虑到新的信息，发生这种情况的原因很简单，但可能并不明显，而且这与你使用多处理无关(尽管如果你计划在真正的网络服务器上运行这个应用程序，而不是在Flask内置的服务器上运行，这很可能会给你带来麻烦(。

当您在use_reloader打开的情况下以debug模式运行Flask调试服务器时，它会启动2个进程。父进程会监视您的代码，当检测到更改时，会通知子进程重新加载。这就是为什么Flask服务器能够立即应用您所做的任何代码更改，而无需执行任何操作。您遇到的问题是，您的代码在中运行，父级和子级都运行。

有两种方法可以修复它。

1. 不要使用debug=True
2. 使用debug=True，但也可以通过添加use_reloader=False来禁用重载程序

选项(2(可能是更具吸引力的解决方案，因为您仍然可以访问调试控制台，但您也将失去自动重新加载功能，因此在应用更改之前，您需要手动重新启动服务器。要做到这一点，请将app.run行更改为：

app.run(host="0.0.0.0", port=15600, debug=True, use_reloader=False)

Answer 2

首先我要确保，在您的脚本中，您有要在可调用函数中运行的脚本。然后确保像from fileA import A一样在开始时导入函数。

from multiprocessing import Process
import time
# from fileA import A
# from fileB import B

def A():
print("Running A")
time.sleep(2)
print("Ending A")

def B():
print("Running B")
time.sleep(3)
print("Ending B")
if __name__ == '__main__':
jobs=[]
jobs.append(Process(target=A))
jobs.append(Process(target=B))
for job in jobs:
job.start()
for job in jobs:
job.join()

输出：

Running A
Ending A
Running B
Ending B
[Finished in 3.2s]