我们能否使用张量流实现与 MPI 相同的计算缩放?

Question

我问这个问题的原因是因为我在网上看到过人们使用MPI进行分布式计算以扩展其计算模型的代码。我无法理解的是，我所指的大多数例子都是用tensorflow编写的。现在，鉴于 tensorflow 已经实现了 mpi 和 gRPC，我要问的问题是，我们是否可以纯粹使用 tensorflow 而不是使用 MPI 来获得相同的结果？

换句话说，与 MPI 与 TF 相比，有哪些优点和缺点？

提前感谢！

Answer 1

TF 是一个机器学习框架，MPI 是一个消息传递库。并行 TF 构建在 MPI 之上(TF 不是 MPI 的实现(

最重要的是，你不能比较苹果和橙子，也不能比较 MPI 和 TF。