我正在尝试用Keras构建一个基于密集网络的分类器。我的输入是(26,1)个向量，我想得到一个二进制分类1或0作为输出。
使用密集网络和hyperas的一些优化，我设法达到80%的准确率，这还不错，但我正在尝试使用残余网络来提高网络的准确性。
我在各种论坛上找到了很多卷积网络的残差网络的例子，但我没有找到残差网络的例子。
我尝试了以下代码来生成剩余的网络:
Input=keras.Input(shape=(X_train.shape[1],)) x1=layers.Dense(512,activation='relu')(Input) x1=layers.Dropout(0.5)(x1) x1=layers.Dense(128,activation='relu')(x1) x1=layers.Dropout(0.4)(x1) # x1=layers.Dense(512,activation='relu')(x1) # x1=layers.Dropout(0.3)(x1) x2=layers.Dense(128,activation='relu')(Input) x2=layers.Dropout(0.5)(x2) added=layers.Add()([x1,x2])#pour faire du ResNet x3=layers.Dense(128,activation='relu')(added) final=layers.Dense(1,activation='sigmoid')(x3) model=Model(Input,final) model.compile(optimizer='RMSprop',loss='binary_crossentropy',metrics=['accuracy']) history=model.fit(X_train,Y_train,validation_data=(X_valid,Y_valid),epochs=100,batch_size=128,class_weight=class_weight) loss = history.history['acc'] val_loss=history.history['val_acc'] epochs=range(1,len(loss)+1) plt.plot(epochs,loss,'bo',label='Training accuracy') plt.plot(epochs,val_loss,'b',label='Validation accuracy') plt.title('Training and validation accuracy') plt.legend() plt.show()
我尝试了各种历元训练，但网络没有达到75%以上的准确率，这比以前更差。当然，我仍然可以使用超参数来再次提高准确性和调整超参数，但我一开始就期望有更好的性能。
问题:
- 我的编码有缺陷吗?
- 是否有更好的方法来产生剩余净?主要是，我添加了一个跳过层(它仍然通过一个密集层)，我能做得更好吗?我应该包括更多吗?
谢谢你的建议
首先，重定向是在深度网络中使用的。你的似乎太浅获取maximumadding受益。
更一般地说，resnets是像VGGNet这样的简单架构的一种进化版本，其目的是能够"更深入";． 如果网络太浅，这并不意味着剩余层总能提高你的准确性。
添加更多的图层应该会有所帮助。关键思想是通过允许跳过连接来避免网络更深层的梯度消失。