是否可以使用 CNN 的扁平层的输出作为 RNN 的输入?

Question

我目前正在做关于在线/动态签名验证的荣誉研究项目。我正在使用 SVC 2004 数据集(任务 2(。我的研究目的是创建一个CRNN(卷积递归神经网络(，可以识别签名是真实的还是伪造的。下面是模型的代码：(我的数据预处理可以在这里找到：数据预处理代码

class crnn_model:
def __init__(self, trainX, trainy, testX, testy, optimizer_method):
self.trainX = trainX
self.trainy = trainy
self.testX = testX
self.testy = testy
self.evaluate_model(optimizer_method)
def evaluate_model(self, optimizer_method):
verbose, epochs, batch_size = 0, 40, 10
n_timesteps, n_features, n_outputs = len(self.trainX), 7, 2
model = keras.Sequential()
model.add(keras.layers.Conv1D(filters=64, kernel_size=3, activation='relu', input_shape=(n_timesteps, n_features), use_bias=True))
model.add(keras.layers.Conv1D(filters=64, kernel_size=3, activation='relu'))
model.add(keras.layers.Dropout(0.5))
model.add(keras.layers.MaxPooling1D(pool_size=2))
model.add(keras.layers.Flatten())
model.add(keras.layers.LSTM(2, input_shape=[30592,1], return_sequences=True))
model.summary()
# Compile the model
model.compile(optimizer=optimizer_method, loss='categorical_crossentropy', metrics=['accuracy'])
#fit model
model.fit(self.trainX, self.trainy, epochs=epochs, batch_size=batch_size, verbose=verbose)
#evaluate model
_, accuracy = model.evaluate(self.testX, self.testy, batch_size=batch_size, verbose=0)
return accuracy

这不是我的最终代码，但是我遇到了以下错误：

值错误：输入 0 与图层 lstm_1 不兼容：预期的 ndim=3，发现 ndim=2

非常感谢您的时间和有关 RNN 或 CNN 的任何提示。

Answer 1

>Flatten将形状为(batch_size, timesteps, features)的张量转换为(batch_size, timesteps*features)这就是您found ndim=2错误的原因。根据您要实现的目标，您可能会：

• 删除Flatten以将卷积学习的特征传递到 LSTM 中，或者
• Reshape展平张量(batch_size, timesteps*features, 1)基本上说每个时间步都是一个特征。

在任何一种情况下，LSTM 都期望秩为 3 的张量。但是等等，仅仅因为你重塑并不意味着它是正确的，这完全取决于你想要实现什么以及网络的信息流/计算图应该是什么样子。