PyTorch将渐变计算为"无"

Question

class Parent(nn.Module):
def __init__(self,in_features,z_dim, img_dim):
super().__init__()
self.my_child1 = Child1 (z_dim, img_dim)
self.my_child2 = Child2 (in_features)

def forward(self,input):
input=self.my_child1(input)
input=self.my_child2(input)    
return input

def forward1(self,input):
input=self.my_child1(input)
return input

def forward2(self,input):
input=self.my_child2(input)
return input

class Child2(nn.Module):
def __init__(self, in_features):
super().__init__()
self.child2 = nn.Sequential(
nn.Linear(in_features, 128),
nn.LeakyReLU(0.01),
nn.Linear(128, 1),
nn.Sigmoid(),
)
def forward(self, x):
return self.child2(x)

class Child1(nn.Module):
def __init__(self, z_dim, img_dim):
super().__init__()
self.child1 = nn.Sequential(
nn.Linear(z_dim, 256),
nn.LeakyReLU(0.01),
nn.Linear(256, img_dim),
nn.Tanh(), 
)
def forward(self, x):
return self.child1(x)
criterion=nn.BCELoss()
noise = torch.randn(batch_size, z_dim).to(device)
model=Parent(in_features,z_dim, img_dim)
output1=model(noise)
loss1=criterion(output1,torch.ones_like(output1))
loss2=criterion(output1,torch.zeroes_like(output1))
loss3=(loss1+loss2)/2
model.zero_grad()
loss3.backward(retain_graph=True)
print(loss3.grad)

我在这里没有使用任何优化器，因为更新参数是使用一个单独的公式来完成的，我只有在得到梯度后才会使用这个公式。该公式要求将梯度存储在矩阵中。但是，渐变始终打印"无"。

Answer 1

您可以使用获得模型中每个参数的计算梯度

gradient = [el.grad for el in model.parameters()]
print(gradient)