如何并行洗牌大型项目列表，Python

Question

我在python上的计算遇到了瓶颈：我需要洗牌一个大列表(~10^9元素(。 当前实现：

import random
random.shuffle(list)

使用此方法时，仅涉及一个内核。是否可以并行洗牌大型列表？

Answer 1

您可以检查 Process 类，可以通过以下方式举例说明：

import random
from multiprocessing import Process

def worker_func(variable_1):
# your code
random.shuffle(list_single)
if __name__ == '__main__':
#Create a process list 
process_list = list()
pid = os.getpid()
print('Main Process is started and PID is: ' + str(pid))
#Start Process
list_example = [[1,2,3], [4, 5, 6], [7, 8, 9]]
for list_single in list_example:
    p = Process(target=worker_func, args=(list_single, ))
    p.start()
    child_pid = str(p.pid)
    print('PID is:' + child_pid)
    process_list.append(child_pid)
    child = multiprocessing.active_children()
while child != []:
    time.sleep(1)
    child = multiprocessing.active_children()

如果要并行运行此数据，可以使用多线程或多处理。您应该定义工作线程函数并在进程中调用它。