锁定不会锁定多处理

Question

from multiprocessing import Process, Lock, current_process
import requests as r
def get(lista, lista_lock):
lista_lock.acquire()
print(f"PID: {current_process().name} ID liste: {id(lista)}")
temp = lista[:1]
del lista[:1]
lista_lock.release()
res = r.get(*temp)
print(f"PID: {current_process().name} ->  {res.url}")
if __name__ == "__main__":
lista = ["https://www.index.hr", "https://www.24sata.hr"]
lista_lock = Lock() 
p1 = Process(target=get, args=(lista, lista_lock))
p2 = Process(target=get, args=(lista, lista_lock))
p1.start()
p2.start()
p1.join()
p2.join()
print(f"lista ID: {id(lista)}")

结果我得到的是…

PID: Process-1 ID liste: 140292127163144
PID: Process-2 ID liste: 140292127163144
PID: Process-1 ->  https://www.index.hr/
PID: Process-2 ->  https://www.index.hr/
lista ID: 140292127163144

每个进程都应该得到不同的链接，但它们得到的链接是相同的。锁好像坏了。有人能帮帮我吗？

关于"lista"的ID，我还有一个问题。如果这些是不同的过程，为什么有相同的变量"lista"？我认为每个进程都有自己的数据副本。

Answer 1

在类unix系统上，Process将派生具有父内存空间的写时复制视图的子进程。在Windows上，它将生成一个新的python进程，并尝试抓取/取消抓取子进程的相关状态。在这两种情况下，子进程都会获得完整的lista，任何弹出或删除的项目都只对该子进程有效。(在您的情况下，您的代码在Windows上不起作用，因为锁不能被腌制(。

您可以使用multiprocessing.Manager来创建在两个进程中代理的列表视图，但这通常不是很有效。请改用Pool，它已经根据您的需要构建。

import multiprocessing as mp
import requests as r
def get(item):
print(f"PID: {mp.current_process().name} item: {item}")
res = r.get(item)
print(f"PID: {mp.current_process().name} ->  {res.url}")
if __name__ == "__main__":
lista = ["https://www.index.hr", "https://www.24sata.hr"]
pool = mp.Pool(min(len(lista), mp.cpu_count())) 
pool.map(get, lista)
pool.close()
pool.join()