MXNET -如何添加dropout层到ResNet_v1预训练模型

Question

我正试图在mxnet: ResNet50_v1中微调预训练模型。这个模型没有dropout，我想添加它以避免过度拟合，并使其看起来类似于I3D_Resnet50_v1_Kinetics400的最后一层。我试着做以下事情，但当训练我得到一个错误:

原始网络(ResNet50_v1)的最后一层:

...
(8): GlobalAvgPool2D(size=(1, 1), stride=(1, 1), padding=(0, 0), ceil_mode=True, global_pool=True, pool_type=avg, layout=NCHW)
)
(output): Dense(2048 -> 1000, linear)

我尝试:

classes = 2
model_name = 'ResNet50_v1'
finetune_net = get_model(model_name, pretrained=True)
with finetune_net.name_scope():
finetune_net.output = nn.Dense(2048, in_units=2048)
finetune_net.head = nn.HybridSequential()
finetune_net.head.add(nn.Dropout(0.95))
finetune_net.head.add(nn.Dense(2, in_units=2048))
finetune_net.fc = nn.Dense(2, in_units=2048)
finetune_net.output.initialize(init.Xavier(), ctx = ctx)
finetune_net.head.initialize(init.Xavier(), ctx = ctx)
finetune_net.fc.initialize(init.Xavier(), ctx = ctx)
finetune_net.collect_params().reset_ctx(ctx)
finetune_net.hybridize()

修改后网络(ResNet50_v1)的最后几层:

...
(8): GlobalAvgPool2D(size=(1, 1), stride=(1, 1), padding=(0, 0), ceil_mode=True, global_pool=True, pool_type=avg, layout=NCHW)
)
(output): Dense(2048 -> 2048, linear)
(head): HybridSequential(
(0): Dropout(p = 0.95, axes=())
(1): Dense(2048 -> 2, linear)
)
(fc): Dense(2048 -> 2, linear)
)

I3D_Resnet50_v1_Kinetics400的最后几层:

...## Heading ## 
(st_avg): GlobalAvgPool3D(size=(1, 1, 1), stride=(1, 1, 1), padding=(0, 0, 0), ceil_mode=True, global_pool=True, pool_type=avg, layout=NCDHW)
(head): HybridSequential(
(0): Dropout(p = 0.8, axes=())
(1): Dense(2048 -> 2, linear)
)
(fc): Dense(2048 -> 2, linear)

Parameter resnetv10_dense1_weight (shape=(2048, 2048), dtype=float32) write
Parameter resnetv10_dense1_bias (shape=(2048,), dtype=float32) write
Parameter resnetv10_dense2_weight (shape=(2, 2048), dtype=float32) write
Parameter resnetv10_dense2_bias (shape=(2,), dtype=float32) write
Parameter resnetv10_dense3_weight (shape=(2, 2048), dtype=float32) write
Parameter resnetv10_dense3_bias (shape=(2,), dtype=float32) write

训练时出错:

/usr/local/lib/python3.7/dist-packages/mxnet/gluon/block.py:825: UserWarning:参数resnetv10_dense3_bias, resnetv10_dense3_weight, resnetv10_dense2_bias, resnetv10_dense2_weight没有被任何计算使用。这是有意的吗?Out = self.forward(*args)

UserWarning:参数resnetv10_dense2_bias在上下文gpu(0)上的梯度自上次step以来没有向后更新。这可能意味着你的模型中有一个bug，使得它在这个迭代中只使用参数(块)的一个子集。如果您有意只使用一个子集，请使用ignore_stale_grad=True调用step来抑制此警告，并跳过使用过时梯度更新参数

dense2和dense3，我已经添加为新的密集层没有更新。dense1已经在模型中，我只是将输出从1000更改为2048。

任何帮助将非常感激，因为我相当卡住…

Answer 1

由于您为模型分配了新的层，您应该重新实现hybrid_forward(或forward)方法以将它们包含在计算中:

from mxnet.gluon import nn
from mxnet.init import Xavier
from mxnet.gluon.block import HybridBlock
class MyResNet(HybridBlock):
def __init__(self, **kwargs):
super().__init__(**kwargs)
self.finetune_net = get_model('ResNet50_v1', pretrained=True)
self.finetune_net.output = nn.Dense(2048, in_units=2048)
self.head = nn.HybridSequential()
self.head.add(nn.Dropout(0.95))
self.head.add(nn.Dense(2, in_units=2048))
self.fc = nn.Dense(2, in_units=2048)
def hybrid_forward(self, F, x):
x = self.finetune_net(x)
x = self.head(x)
x = self.fc(x)
return x
def initialize_outputs(self):
self.finetune_net.output.initialize(init=Xavier())
self.head.initialize(init=Xavier())
self.fc.initialize(init=Xavier())
my_resnet = MyResNet()
my_resnet.initialize_outputs()
my_resnet(x)