我正在做很多计算，将结果写入文件。使用多处理，我正在尝试并行计算。
这里的问题是我正在写入一个输出文件，所有工作人员也在写入该文件。我对多处理很陌生，想知道如何让它工作。
下面给出了一个非常简单的代码概念：
from multiprocessing import Pool
fout_=open('test'+'.txt','w')
def f(x):
fout_.write(str(x) + "n")
if __name__ == '__main__':
p = Pool(5)
p.map(f, [1, 2, 3])
我想要的结果将是一个文件：
1 2 3
但是现在我得到一个空文件。有什么建议吗？ 我非常感谢:)的任何帮助！
您不应该让所有工作线程/进程写入单个文件。它们都可以从一个文件读取(由于工作人员等待其中一个文件完成读取，这可能会导致速度变慢)，但写入同一个文件会导致冲突和潜在的损坏。
就像评论中所说的那样，改为写入单独的文件，然后将它们合并为一个进程。这个小程序根据你帖子中的程序来说明它：
from multiprocessing import Pool
def f(args):
''' Perform computation and write
to separate file for each '''
x = args[0]
fname = args[1]
with open(fname, 'w') as fout:
fout.write(str(x) + "n")
def fcombine(orig, dest):
''' Combine files with names in
orig into one file named dest '''
with open(dest, 'w') as fout:
for o in orig:
with open(o, 'r') as fin:
for line in fin:
fout.write(line)
if __name__ == '__main__':
# Each sublist is a combination
# of arguments - number and temporary output
# file name
x = range(1,4)
names = ['temp_' + str(y) + '.txt' for y in x]
args = list(zip(x,names))
p = Pool(3)
p.map(f, args)
p.close()
p.join()
fcombine(names, 'final.txt')
它为每个参数组合运行f，在本例中为 x 的值和临时文件名。它使用参数组合的嵌套列表，因为pool.map不接受多个参数。还有其他方法可以解决这个问题，尤其是在较新的Python版本上。
对于每个参数组合和池成员，它会创建一个单独的文件，并将输出写入该文件。原则上，您的输出会更长，您可以简单地将另一个计算它的函数添加到f函数中。另外，不需要对 3 个参数使用 Pool(5)(尽管我假设只有三个 worker 处于活动状态)。
打电话给close()和join()的原因在这篇文章中得到了很好的解释。事实证明(在链接帖子的评论中)map正在阻塞，因此出于原始原因，您不需要它们(等到它们全部完成，然后从一个进程写入组合输出文件)。我仍然会使用它们，以防以后添加其他并行功能。
在最后一步中，fcombine收集所有临时文件并将其复制到一个文件中。它有点太嵌套了，例如，如果您决定在复制后删除临时文件，您可能需要在with open('dest', )..下使用单独的函数或下面的 for 循环 - 以提高可读性和功能。
Multiprocessing.pool 会生成进程，写入公共文件而不从每个进程锁定可能会导致数据丢失。 正如您所说，您正在尝试并行化计算，multiprocessing.pool 可用于并行化计算。
以下是进行并行计算并将结果写入文件的解决方案，希望对您有所帮助：
from multiprocessing import Pool
# library for time
import datetime
# file in which you want to write
fout = open('test.txt', 'wb')
# function for your calculations, i have tried it to make time consuming
def calc(x):
x = x**2
sum = 0
for i in range(0, 1000000):
sum += i
return x
# function to write in txt file, it takes list of item to write
def f(res):
global fout
for x in res:
fout.write(str(x) + "n")
if __name__ == '__main__':
qs = datetime.datetime.now()
arr = [1, 2, 3, 4, 5, 6, 7]
p = Pool(5)
res = p.map(calc, arr)
# write the calculated list in file
f(res)
qe = datetime.datetime.now()
print (qe-qs).total_seconds()*1000
# to compare the improvement using multiprocessing, iterative solution
qs = datetime.datetime.now()
for item in arr:
x = calc(item)
fout.write(str(x)+"n")
qe = datetime.datetime.now()
print (qe-qs).total_seconds()*1000