PyTorch BatchNorm1D, 2D, 3D and TensorFlow/Keras BatchNormal

Question

我想像TensorFlow中的PyTorch一样使用BatchNorm1D。我注意到TF中的BatchNormalization()默认为axis=-1。对于PyTorch中的BatchNorm1D, BatchNorm2D, BatchNorm3D，哪个轴是正确的？

Answer 1

这取决于您对尺寸的排序。

Pytorch在轴=1上进行批量定额。但它也有轴=1的张量作为卷积的通道。

张量流在卷积的最后一个轴上有通道。所以它的batchnorm把它们放在轴=-1上。

在大多数情况下，使用默认设置应该是安全的。