使用NCCL时如何指定Nvlink类型

Question

在DGX-1系统(8xV100)中，有两种类型的nvlink: NVlink-V1和NVlink-V2，

是否有任何方法可以明确指定我们用于p2p和集体通信的NVlink类型?

Answer 1

在一台机器上不能有两种类型的nvlink。链接的数量的区别是粘合在一起。

NV1标识表示在该连接路径上的gpu具有单链路连接。

NV2标识表明这些gpu具有双链路(即带宽的两倍)连接。两个链接是"绑定"的。在一起。

你不能选择其中之一，这是不可控制的，这是硬件设计的功能。

如果NCCL选择在两个具有NV2连接的gpu之间传输数据，它将以两倍的速度传输数据。

这里没有什么可以设置或控制的

使用NCCL的一般原则是指定要执行的集合，NCCL将使用现有的结构尽快完成该集合。