在pytorch中指定自定义权重

Question

我试图为我的PyTorch模型分配一些自定义权重，但它不能正常工作。

class Mod(nn.Module):
def __init__(self):
super(Mod, self).__init__()

self.linear = nn.Sequential(
nn.Linear(1, 5)
)
def forward(self, x):
x = self.linear(x)
return x
mod = Mod()
mod.linear.weight = torch.tensor([1. ,2. ,3. ,4. ,5.], requires_grad=True)
mod.linear.bias = torch.nn.Parameter(torch.tensor(0., requires_grad=True))
print(mod.linear.weight)
>>> tensor([1., 2., 3., 4., 5.], requires_grad=True)
output = mod(torch.ones(1))
print(output)
>>> tensor([ 0.2657,  0.3220, -0.0726, -1.6987,  0.3945], grad_fn=<AddBackward0>)

输出预期为[1.，2.，3.，4.，5.]，但没有按预期工作。我在这里错过了什么？

Answer 1

您没有在正确的位置更新权重。您的self.linear不是nn.Linear层，而是nn.Sequential容器。您的nn.Linear是序列中的第一层。要访问它，您需要索引self.linear:

with torch.no_grad():
mod.linear[0].weight.data = torch.tensor([1. ,2. ,3. ,4. ,5.], requires_grad=True)[:, None]
mod.linear[0].bias.data = torch.zeros((5, ), requires_grad=True)  # bias is not a scalar here