这可能是一个幼稚的问题,但我真的尝试过搜索多个资源:multiprocessing
和ipyparallel
但这些似乎缺乏适合我的任务的信息。
我有一个大型有向图G
,有900万条边和600万个节点。我的目标是,对于目标节点列表(50k,以及它们的直接邻居(输入/输出(,从G
中提取子图。我目前正在使用networkx
来执行此操作。
我尝试使用ipyparallel
但我找不到有关如何在处理器之间共享对象(在我的情况下,G
(以进行子图函数的教程。有没有一种简单的方法可以在不同的 CPU 内核之间并行化它(有 56 个可用,所以我真的很想充分利用它(?
谢谢!
尝试将G
视为数据库 - 以便所有子进程共享它 - 他们将能够从中获取信息并做他们需要的事情