我怎么知道用ddp策略(多gpu单节点)闪电训练时分配给当前进程的gpu是什么?



我的机器上有两个gpu,并且希望根据线程/进程运行的gpu在数据加载器中表现略有不同。我如何知道GPU/名称?在distributed .py中有global_rank,但是我不认为它可以被数据加载器访问。

训练者正在有策略地跑步"ddp">

有两个环境变量,LOCAL_RANK和NODE_RANK,每个ddp进程(0,1,2)持有一个唯一的id。似乎gpu是根据它们的id分配给进程的。初始化数据模块时还没有定义环境变量,只有在调用时才定义环境变量。

最新更新