MPI-2 on CPU vs GPU

Question

我正在使用MPI-2并行化代码。当我使用 8 核处理器时，它已成功加速。

我只是想知道如果我将 GPU 用于相同目的而不是 CPU 会有什么效果？根据我迄今为止的研究，OpenMPI与GPU兼容，只有当处理器之间的通信比CPU相比很多时，加速才会更好。有没有人尝试过，或者对此有任何意见？

Answer 1

GPU 并行化与 MPI

并行化的方向完全不同，因为 GPU 线程不能像 MPI 秩那样运行并进行 MPI 调用 - 它们甚至不是真正意义上的线程。但是，您可以通过在 MPI 程序的每个等级中调用 GPU 代码来组合它们。