python中的多处理池花费了更多时间

Question

所以，我开始学习python的多处理。我为函数"res"创建了一个池。我对使用池并使用正常方式运行程序后的时间感兴趣，我认为如果我使用池处理时间会减少，但如我所见，池需要 10.0413179397583 秒，正常方式需要 0.005002737045288086 秒。我错过了什么？

import multiprocessing as mp
import time
def res(a):
squ = 0
for i in range(a):
squ += i**2
return squ
if __name__ == "__main__":
t1 = time.time()
p = mp.Pool()
result = p.map(res, range(10000))
p.close()
p.join()
print(time.time()-t1)
t2 = time.time()
result = []
sum = 0
for i in range(10000):
sum += i**2
result.append(sum)
print(time.time()-t2)

Answer 1

你用multiprocessing的算法是O(n^2)(循环 1，循环 2，...循环 9999)，而"正常方法"O(n).如果没有multiprocessing，在我的测试中，第一种方法花费了大约 3 倍的时间。

相关： 什么是"Big O"符号的简单英语解释？

Answer 2

关于Dan Foreman-Mackey的包司仪，对此进行了很好的讨论。

如果函数调用的计算时间与多处理的开销相比不是相对较大，您将找不到任何优势。你可以通过如下所示的函数调用相对轻松地演示这一点

。

import time
def func():
""" arbitrarily time-intensive function """
time.sleep(1)   # return after 1 s "computation time"
return

Answer 3

您的pool示例是从0-9999迭代中计算10000个不同的循环。您的第二个示例是单个循环，具有9999迭代...

这是一个苹果对苹果的方法：

import multiprocessing as mp
import time
import sys
NUM_ITER = int(sys.argv[1])
def res(a):
squ = 0
for i in range(a):
squ += i**2
return squ
if __name__ == "__main__":
t1 = time.time()
p = mp.Pool(None)
result = p.map(res, range(NUM_ITER))
p.close()
p.join()
print(f"With multiprocessing: {time.time()-t1}")
t2 = time.time()
result = [res(i) for i in range(NUM_ITER)]
print(f"Without multiprocessing: {time.time()-t2}")

请注意，由于开销，除非您要进行大量迭代，否则multiprocessing需要更长的时间，因此请考虑：

Juans-MacBook-Pro:temp juan$ python -B timing_mp.py 100
With multiprocessing: 0.18288207054138184
Without multiprocessing: 0.002610921859741211
Juans-MacBook-Pro:temp juan$ python -B timing_mp.py 1000
With multiprocessing: 0.1448049545288086
Without multiprocessing: 0.16153407096862793
Juans-MacBook-Pro:temp juan$ python -B timing_mp.py 5000
With multiprocessing: 2.273800849914551
Without multiprocessing: 3.9749832153320312
Juans-MacBook-Pro:temp juan$ python -B timing_mp.py 10000
With multiprocessing: 8.837619066238403
Without multiprocessing: 15.725339889526367