耦合 2 个不同的 GPU 卡以进行小型批处理

Question

我刚买了一台GTX 1080Ti，我想知道我是否可以同时使用旧的GTX 1070和GTX 1080Ti，使用TensorFlow或PyTorch进行小型批处理。

我主要关心的是：

GTX 1070是否会成为GTX 1080Ti瓶颈，或者每张卡的功率将得到最大利用？

我知道在 SLI 配置中，总 VRAM 的数量将等于数量最低的卡(这里的 GTX 1070 具有 8GB 或 VRAM(，但是在没有 SLI 的张量流/pytorch 训练期间是否会发生同样的事情？

Answer 1

1. 不能运行 SLI 进行深度学习。
2. PCIe 互连是您遇到的瓶颈。如果您没有同时使用两条 x16 线，那么其中一条会更慢。
3. 我不太确定如果出现电源问题会发生什么。
4. 我可以并行运行 GTX 1060 和 GTX 970 以进行小批量。