在 Python 中并行化子图任务



这可能是一个幼稚的问题,但我真的尝试过搜索多个资源:multiprocessingipyparallel但这些似乎缺乏适合我的任务的信息。

我有一个大型有向图G,有900万条边和600万个节点。我的目标是,对于目标节点列表(50k,以及它们的直接邻居(输入/输出(,从G中提取子图。我目前正在使用networkx来执行此操作。

我尝试使用ipyparallel但我找不到有关如何在处理器之间共享对象(在我的情况下,G(以进行子图函数的教程。有没有一种简单的方法可以在不同的 CPU 内核之间并行化它(有 56 个可用,所以我真的很想充分利用它(?

谢谢!

尝试将G视为数据库 - 以便所有子进程共享它 - 他们将能够从中获取信息并做他们需要的事情

相关内容

  • 没有找到相关文章

最新更新