我读到aws虚拟gpu设备插件,如何使用它将一个gpu拆分为多个较小的gpu,并在每个小部分上运行并发作业。虽然这对我的用例来说很好,但我想知道这是否只适用于AWS EKS服务,还是也可以在其他云提供商的K8集群上使用?有人在非aws基础设施上使用它吗?
请注意其局限性。
虚拟GPU设备插件
引用限制该解决方案构建在Volta多进程服务(MPS)之上。您只能在Tesla-V100或更新版本的实例类型上使用它。(现在只支持Amazon EC2 P3实例和Amazon EC2 G4实例)虚拟GPU设备插件默认设置GPU计算模式为EXCLUSIVE_PROCESS,这意味着GPU分配给MPS进程,单个进程线程可以通过MPS服务器并发地向GPU提交工作。此GPU不能用于其他目的。虚拟GPU设备插件仅在单个物理GPU实例上,如P3.2xlarge,如果您请求k8s.amazonaws.com/vgpu超过1个工作负载。虚拟GPU设备插件不能与Nvidia设备插件一起工作。你可以标记节点并使用选择器来安装虚拟GPU设备插件。