Keras value error for convolutional autoeconder

Question

我正在尝试构建一个卷积自动编码器，但是解码器部分遇到了问题。我的输入图像是 32 x 32 x 3 (RGB(。

from keras.models import Sequential
from keras.layers import Conv2D, MaxPooling2D, Flatten, Dense, Activation, Dropout
def deep_autoencoder(img_shape, code_size):
#### encoder ######
encoder = keras.models.Sequential()
encoder.add(keras.layers.InputLayer(img_shape))
encoder.add(Conv2D(32, kernel_size=(3, 3), strides=1,
activation='elu', padding ='same' ))
encoder.add(MaxPooling2D(pool_size=(3, 3), padding = 'same'))
encoder.add(Conv2D(64, kernel_size=(3, 3), strides=1,
activation='elu', padding ='same' ))
encoder.add(MaxPooling2D(pool_size=(3, 3), padding = 'same'))
encoder.add(Conv2D(128, kernel_size=(3, 3), strides=1,
activation='elu', padding ='same' ))
encoder.add(MaxPooling2D(pool_size=(3, 3), padding = 'same') )   
encoder.add(Conv2D(256, kernel_size=(3, 3), strides=1,
activation='elu', padding ='same' ))
encoder.add(Flatten())
encoder.add(Dense(code_size, activation='relu'))

##### decoder#####
decoder = keras.models.Sequential()
decoder.add(keras.layers.InputLayer((code_size,)))
decoder.add(Dense(code_size, activation='relu'))
decoder.add(keras.layers.Reshape([16,16])) #???
decoder.add(keras.layers.Conv2DTranspose(filters=128, kernel_size=(3, 3), strides=2, activation='elu', padding='same'))
decoder.add(keras.layers.Conv2DTranspose(filters=64, kernel_size=(3, 3), strides=2, activation='elu', padding='same'))
decoder.add(keras.layers.Conv2DTranspose(filters=32, kernel_size=(3, 3), strides=2, activation='elu', padding='same'))
decoder.add(keras.layers.Conv2DTranspose(filters=3, kernel_size=(3, 3), strides=2, padding='same'))

return encoder, decoder

我假设我的解码器应该以 16*16 开头，因为我编码器末尾的密集网络有 256 个节点。但是当我跑步时encoder, decoder = deep_autoencoder(IMG_SHAPE, code_size=32)我收到错误：

---> 34     decoder.add(keras.layers.Reshape([16,16]))
.
.
.
ValueError: total size of new array must be unchanged

如果有帮助，我可以添加完整的错误代码，但我觉得我遇到了一些非常基本的错误。为了应用反卷积滤波器，我需要将编码器的扁平输出转换为矩阵。

为了便于阅读网络，我为编码器部分添加了模型摘要 - 如果我注释掉解码器部分并运行encoder.summary()，我会得到

_________________________________________________________________
Layer (type)                 Output Shape              Param #   
=================================================================
input_1 (InputLayer)         (None, 32, 32, 3)         0         
_________________________________________________________________
conv2d_1 (Conv2D)            (None, 32, 32, 32)        896       
_________________________________________________________________
max_pooling2d_1 (MaxPooling2 (None, 11, 11, 32)        0         
_________________________________________________________________
conv2d_2 (Conv2D)            (None, 11, 11, 64)        18496     
_________________________________________________________________
max_pooling2d_2 (MaxPooling2 (None, 4, 4, 64)          0         
_________________________________________________________________
conv2d_3 (Conv2D)            (None, 4, 4, 128)         73856     
_________________________________________________________________
max_pooling2d_3 (MaxPooling2 (None, 2, 2, 128)         0         
_________________________________________________________________
conv2d_4 (Conv2D)            (None, 2, 2, 256)         295168    
_________________________________________________________________
max_pooling2d_4 (MaxPooling2 (None, 1, 1, 256)         0         
_________________________________________________________________
flatten_1 (Flatten)          (None, 256)               0         
_________________________________________________________________
dense_1 (Dense)              (None, 32)                8224      
=================================================================

Answer 1

你的模型让我困扰的主要是两件事：第一，自动编码器的不对称性。在编码过程中使用卷积层和池层，但省略使用上采样(反向池化(层。这已经在 keras 中实现为UpSampling2D.此外，您还应该在 conv 和 deconv 图层中使用相同的步幅。

其次，在第四次池化后，最终会得到 1x1x256 的压缩表示形式。为什么要尝试将其转换为解码部分的 16x16x1 表示？这也与对称性有关。无需展平编码层，只需使用 1x1x256 表示形式作为解码模型的输入即可。将编码器和解码器创建为单独的模型时，可以像这样堆叠它们：

encoder = Sequential()
encoder.add ...
...
decoder = Sequential()
decoder.add(encoder)
decoder.add ...

还有一个关于如何创建自动编码器的教程，由Francois Chollet(LINK(编写。它可能会帮助您实现。