在softmax层之前添加LSTM层

Question

我想在softmax层之前添加一个LSTM层，以便我可以跟踪序列的上下文并将其用于预测。以下是我的实现，但每次都收到以下错误。请帮助我解决此错误。

值错误：输入 0 与图层 lstm_1 不兼容：预期 ndim=3，发现 ndim=2

    common_model = Sequential()
    common_model.add(Conv2D(32, (3, 3), input_shape=self.state_size, padding='same', activation='relu'))
    common_model.add(Dropout(0.2))
    common_model.add(Conv2D(32, (3, 3), activation='relu', padding='same'))
    common_model.add(MaxPooling2D(pool_size=(2, 2)))
    common_model.add(Flatten())
    common_model.add(Dense(512, activation='relu'))
    common_model.add(Dropout(0.5))
    common_model.add(Dense(512, activation='relu'))
    common_model.add(Dropout(0.5))
    common_model.add(Dense(512, activation='relu'))
    common_model.add(Dropout(0.5))

    agent_model = Sequential()
    agent_model.add(common_model)
    agent_model.add(LSTM(512, return_sequences=False))
    agent_model.add(Dense(self.action_size, activation='softmax'))
    agent_model.compile(loss='categorical_crossentropy', optimizer=Adam(lr=self.agent_learning_rate))
    critic_model = Sequential()
    critic_model.add(common_model)
    critic_model.add(Dense(1, activation='linear'))
    critic_model.compile(loss="mse", optimizer=Adam(lr=self.critic_learning_rate))

Answer 1

我仍然不太明白在 Dense 之后附加 LSTM 的目的，但可以解释这个错误：

因为在 Keras 中，LSTM 接受像 (?, m, n) 这样的输入张量，它需要有 3 个 dims，而 Dense 的输出是 (？， p(，它有 2 个 dims。

您可能想要尝试嵌入或重塑图层，例如：

model.add(Embedding(512, 64, input_length=512))

或

model.add(Reshape((512, 64)))

另外，最好检查一些使用 LSTM 的示例： https://github.com/keras-team/keras/tree/master/examples