在进行迁移学习时，CNN完全连接层的最佳实践是什么

Question

我似乎找不到这个问题的具体答案。我目前正在从VGG19网络进行迁移学习，我的目标领域是文档分类(要么仅通过视觉分类，要么使用CNN的另一个模型的特征提取(。我想了解在哪些情况下，需要保留模型的所有全连接层，在哪些情况中，我应该删除全连接层并在最后一个卷积层的顶部创建一个新的全连接层。这些选择对训练、预测等意味着什么？

这些是使用Keras的代码示例，我的意思是：

提取最后一个完全连接的层：

original_model = VGG19(include_top=True, weights='imagenet', input_shape=(224, 224, 3))
layer_name = 'fc2'
x = Dropout(0.5)(original_model.get_layer(layer_name).output)
x = BatchNormalization()(x)
predictions = Dense(num_classes, activation='softmax')(x)
features_model = Model(inputs=original_model.input, outputs=predictions)
adam = optimizers.Adam(lr=0.001)
features_model.compile(optimizer=adam, loss='categorical_crossentropy', metrics=['accuracy'])
features_model.summary()
return features_model

在最后一个卷积层之后添加一个完全连接层：

original_model = VGG19(include_top=False, weights='imagenet', input_shape=(224, 224, 3))
x = Flatten()(base_model.output)
x = Dense(4096, activation='relu')(x)
x = Dropout(0.5)(x)
x = BatchNormalization()(x)
predictions = Dense(num_classes, activation='softmax')(x)
head_model = Model(input=base_model.input, output=predictions)
adam = optimizers.Adam(lr=0.001)
head_model.compile(optimizer=adam, loss='categorical_crossentropy', metrics=['accuracy'])
head_model.summary()
return head_model

在进行迁移学习时，选择什么有经验法则吗？

Answer 1

根据我过去的经验，将股票市场的迁移学习成功应用于商业预测，你应该保持原始结构，因为如果你在进行迁移学习，你会希望加载从原始结构训练的权重，而不会出现神经网络架构差异的问题。然后你解冻部分CNN，你的神经网络训练将从高精度开始训练，并根据目标问题调整权重。

然而，如果移除Flatten层，则计算成本将降低，因为要训练的参数将更少。

我遵循的规则是保持神经网络尽可能简单(等于更大的泛化性质(，效率很高。

@Kamen，作为对您评论的补充，关于您需要多少数据，这取决于您的数据的差异。方差越大，你就需要更多的层次和权重来了解细节。然而，当你增加架构的复杂性时，你的神经网络将更容易过度拟合，例如，使用Dropout可以减少过度拟合。

由于完全连接层是神经网络中更昂贵的部分，如果你添加其中的一个或两个，你的参数数量会增加很多，需要更多的时间来训练。使用更多的层，您将获得更高的精度，但您可能会过度填充。

例如，具有10000个示例的MNIST可以通过一个非常简单的架构达到99%以上的准确率。然而，IMAGENET有1000000个示例(155GB(，然后需要更复杂的结构，如VGG16。