我一直在Keras中使用批处理规范化。我想知道批归一化是否也归一化神经网络的输入。这是否意味着我不需要标准化我的网络输入并依靠BN来完成?
虽然您当然可以使用它,但批量规范化不是为了这样做而设计的,并且由于样本量有限(样本量就是您的批量大小),您很可能会在规范化中引入抽样误差。
我不建议使用批处理归一化对输入进行归一化的另一个因素是,它引入了校正项gamma和beta(训练参数),如果不禁用,这将使你的训练数据倾斜。
对于测试数据的规范化,我建议在完整的训练集上使用z-score规范化(例如,通过sklearn的StandardScaler)或一些适当的替代方法,但不是批处理规范化。