使用Keras构建LSTM单元

Question

我正在尝试为文本生成构建一个RNN。我在忙着建立我的LSTM小区。数据的形状是这样的——X是dim(90809,2700)的输入稀疏矩阵，Y是维数(90809,27)的输出矩阵。下面是我定义LSTM单元的代码-

model = Sequential()
model.add(LSTM(128, input_shape=(X.shape[0], X.shape[1])))
model.add(Dropout(0.2))
model.add(Dense(Y.shape[1], activation='softmax'))
model.compile(loss='categorical_crossentropy', optimizer='adam')

我的理解是input_shape应该是输入矩阵的维数，密集层应该是每次观测的输出大小，在本例中为27。然而，我得到以下错误-

Exception: Error when checking model input: expected lstm_input_3 to have 3 dimensions, but got array with shape (90809, 2700)

我不知道出了什么问题。谁能帮我弄清楚为什么lstm_input期望3维?

我也尝试了以下方法-

X= np.reshape(np.asarray(dataX), (n_patterns, n_vocab*seq_length,1))
Y=np.reshape(np.asarray(dataY), (n_patterns, n_vocab,1))

这给了我以下错误-

Exception: Error when checking model input: expected lstm_input_7 to have shape (None, 90809, 2700) but got array with shape (90809, 2700, 1)

任何帮助将不胜感激。谢谢!

Answer 1

你应该在这里阅读input_shape, batch_input_shape和input_dim的区别。

对于input_shape，我们不需要定义batch_size。这就是你的LSTM层的样子。

model.add(LSTM(128, input_shape=(X.shape[1], 1)))

或

model.add(LSTM(128, batch_input_shape=(X.shape[0], X.shape[1], 1)))