在 keras API 中为 LSTM 单元提供输入

Question

我正在阅读有关深度学习中的LSTM的文章。从Andrew Ng教授开始，每个LSTM单元的LSTM输入三个输入。

输入

是来自前一个单元格的单元格状态，即"c"上标(t-1(和LSTM单元"a"超级脚本(t-1(和输入x超级脚本(t(的输出。

LSTM 单元的输出是当前单元状态，即"c"上标 (t( 和 LSTM 单元"a"超级脚本 (t( 的输出。

我们如何为上述输入传递 keras 中 LSTM 单元的初始化参数？

感谢您的帮助。简单的例子会有所帮助。

Answer 1

默认情况下，您不必在 keras 中为 LSTM 层指定初始状态。

如果要指定初始状态，可以像这样LSTM(units)(input, initial_state)，其中initial_state是张量列表[hidden_state, cell_State]。hidden_state和cell_state分别由您的符号"a"超级脚本 (t-1( 和"c"上标 (t-1( 表示。每个事件都有一个隐藏状态和一个单元格状态，因此在训练时应(batch_size, units)每个形状。

Se 下面是一个如何在 tf.keras 中执行此操作的最小工作示例(在 keras 中应该相同，但尚未测试代码(

from tensorflow import keras 
import numpy as np
n_features=3
n_timelag=10
n_pred=1
batch_size=32
lstm_size=30
# make initial state
single_hidden_state=np.random.random(lstm_size)
single_cell_state=np.random.random(lstm_size)
# clone for each batch
hidden_state=np.tile(single_hidden_state,(batch_size,1))
cell_state=np.tile(single_cell_state,(batch_size,1))
# numpy to tensorflow constant
initial_state=[keras.backend.constant(hidden_state),keras.backend.constant(cell_state)]
# create training data
X=np.random.random((batch_size,n_timelag,n_features))
Y=np.random.random((batch_size,n_pred))
# create network
inp=keras.Input((n_timelag,n_features))
lstm_l1=keras.layers.LSTM(lstm_size)(inp, initial_state=initial_state)
pred = keras.layers.Dense(n_pred)(lstm_l1)
# create model
model = keras.models.Model(inputs=inp, outputs=pred)
model.compile(loss='mse', optimizer='adam')
# train model
model.fit(X,Y)

有关如何在 keras 中处理 LSTM 初始状态和序列到序列的更多信息，请参阅此链接