PyTorch分布式数据加载器

Question

任何推荐的方法使PyTorch DataLoader (torch.utils.data.DataLoader)在分布式环境下工作，单机和多机?没有DistributedDataParallel可以吗?

Answer 1

也许你需要把你的问题说清楚。DistributedDataParallel缩写为DDP，您需要在分布式环境中使用DDP来训练模型。这个问题似乎是在问如何安排分布式训练的数据集加载过程。

首先，

data.Dataloader适用于区域和非区域训练，通常不需要在这上面做任何事情。

但是这两种模式的采样策略不同，您需要为数据加载器指定一个采样器(data.Dataloader中的sampler参数)，采用torch.utils.data.distributed.DistributedSampler是最简单的方法。