卷积自动编码器:黑色特征图



我正在使用卷积自动编码器。我的 autoenoder 配置有一个具有步幅 (2,2( 或平均池化和 relu 激活的卷积层和一个具有步幅 (2,2( 或平均取消池化和 relu 激活的反卷积层。

我用MNIST数据集训练了自动编码器。

当我查看第一个卷积层(20 个过滤器大小为 3 的过滤器(之后的特征图时,我得到了一些黑色的特征图,而不是学习的过滤器不是黑色的。如果我更改过滤器的数量或过滤器大小,也会发生同样的情况。

我在TensorFlow和Theano自动编码器中得到了这种现象。(我还没有测试其他神经网络软件。

有谁知道为什么会这样?

添加 LRN 图层时,我可以避免使用黑色特征图,但我想了解为什么会出现黑色特征图。

我发现了同样的现象。在为数千张RGB图像训练一个7x7x3x6的卷积自动编码器后,两个或三个过滤器有一些输出,其他过滤器得到零输出。当它们有太多零输出滤波器时,误差不会减少。我还更改了过滤器的数量和大小,但结果几乎相同。