我的机器上有两个gpu,并且希望根据线程/进程运行的gpu在数据加载器中表现略有不同。我如何知道GPU/名称?在distributed .py中有global_rank,但是我不认为它可以被数据加载器访问。
训练者正在有策略地跑步"ddp">
有两个环境变量,LOCAL_RANK和NODE_RANK,每个ddp进程(0,1,2)持有一个唯一的id。似乎gpu是根据它们的id分配给进程的。初始化数据模块时还没有定义环境变量,只有在调用时才定义环境变量。