我在训练(和测试)我的自动编码器时损失很大

Question

我的损失非常大(170+(。我正在制作一个具有3个隐藏层的自动编码器，并使用SGD作为我的优化器。我使用了交叉熵作为损失函数。同样在一开始，我得到的准确度非常好(大约0.88(，但几乎在每个历元之后都会下降。

这是我的代码：

encoding_dim=8
i=Input(shape=(60,))
encoded=Dense(30,activation='sigmoid')(i)
encoded1=Dense(15,activation='sigmoid')(encoded)
encoded2=Dense(8,activation='relu')(encoded1)
#encoded=Dense(encoding_dim,activation='sigmoid')(encoded2)
decoded=Dense(15,activation='sigmoid')(encoded2)
decoded2 =Dense(30,activation='sigmoid')(decoded)
decoded3 =Dense(60,activation='sigmoid')(decoded2)
autoencoder = Model(i, decoded3)
ec = Model(i,encoded)
encoded_input=Input(shape=(encoding_dim,))
decoder_layer=autoencoder.layers[-3](encoded_input)
decoder_layer=autoencoder.layers[-2](decoder_layer)
decoder_layer=autoencoder.layers[-1](decoder_layer)
decoder = Model(encoded_input, decoder_layer)
from keras.optimizers import SGD
opt = SGD(lr=0.06)
#model.compile(loss = "categorical_crossentropy", optimizer = opt)
autoencoder.compile(loss = "categorical_crossentropy", optimizer = opt,metrics=['accuracy'])
autoencoder.fit(X_Train, X_Train,
epochs=200,
batch_size=200,
shuffle=True,
validation_data=(X_Test, X_Test))
#encoded_out= ec.predict(X_Test)
#decoded_out=decoder.predict(encoded_out)

Answer 1

至少原则上，sigmoid应该只用于您的最后一个解码层(此处为decoded3(-请参阅在Keras中构建自动编码器中的示例。因此，将所有其他激活更改为relu。

此外，准确性在自动编码器中没有意义——只需将其从模型编译中删除，并关注损失。