Keras batchnorm的测试性能很糟糕

Question

在对训练数据进行交叉验证时，使用batchnorm可以显著提高性能。但是(在对整个训练集进行重新训练之后)批规范层的存在完全破坏了模型对holdout集的泛化。这有点令人惊讶，我想知道我是否错误地实现了测试预测。

没有batchnorm层的泛化很好(对于我的项目目标来说不够高，但对于这样一个简单的网络来说是合理的)。

我不能共享我的数据，但是有人看到一个明显的实现错误吗?是否有一个应该设置为测试模式的标志?我在文档中找不到答案，辍学(也应该有不同的训练/测试行为)按预期工作。谢谢!

代码:

from keras.callbacks import EarlyStopping
early_stopping = EarlyStopping(monitor='val_loss', patience=10)
from keras.callbacks import ModelCheckpoint
filepath="L1_batch1_weights.best.hdf5" 
checkpoint = ModelCheckpoint(filepath, monitor='val_loss', verbose=1, save_best_only=True, mode='auto')
init = 'he_normal'
act = 'relu'
neurons1 = 80
dropout_rate = 0.5
model = Sequential()
model.add(Dropout(0.2, input_shape=(5000,)))
model.add(Dense(neurons1))
model.add(BatchNormalization())
model.add(Activation(act))
model.add(Dropout(dropout_rate)) 
model.add(Dense(1, activation='sigmoid'))
model.compile(loss='binary_crossentropy', optimizer="adam", metrics=["accuracy"])

my_model = model.fit(X_train, y_train, batch_size=128, nb_epoch=150, validation_data =(X_test, y_test),callbacks=[early_stopping, checkpoint]) 
model.load_weights("L1_batch1_weights.best.hdf5")
model.compile(loss='binary_crossentropy', optimizer='adam', metrics=['accuracy'])
print("Created model and loaded weights from file")
probs = model.predict_proba(X_test,batch_size=2925)
fpr, tpr, thresholds = roc_curve(y_test, probs)

Answer 1

来自文档:"在训练期间，我们使用每批统计数据来规范化数据，在测试期间，我们使用在训练阶段计算的运行平均值。"

在我的例子中，训练批大小为128。在测试时，我手动将批大小设置为完整测试集的大小(2925)。

这是有道理的，用于一个批大小的统计数据显然与另一个显著不同的批大小无关。

将测试批大小更改为列车批大小(128)会产生更稳定的结果。我使用w/预测批大小来观察效果:对于任何批大小为训练批大小的+/- 3倍的批大小，预测结果都是稳定的，超过该值性能就会下降。

这里有一些关于测试批大小的影响的讨论，以及在这里使用load_weights()时使用batchnorm:https://github.com/fchollet/keras/issues/3423