序列到序列自动编码器的变量输入

Question

我实现了一个序列到序列编码器解码器，但在预测中改变目标长度时遇到了问题。它适用于相同长度的训练序列，但如果不同，则不适用。我需要更改什么？

from keras.models import Model
from keras.layers import Input, LSTM, Dense
import numpy as np
num_encoder_tokens = 2
num_decoder_tokens = 2
encoder_seq_length = None
decoder_seq_length = None
batch_size = 100
epochs = 2000
hidden_units=10
timesteps=10
input_seqs = np.random.random((1000, 10, num_encoder_tokens))
target_seqs = np.random.random((1000, 10, num_decoder_tokens))

#define training encoder
encoder_inputs = Input(shape=(None, num_encoder_tokens))
encoder = LSTM(hidden_units, return_state=True)
encoder_outputs, state_h, state_c = encoder(encoder_inputs)
encoder_states = [state_h, state_c]
#define training decoder
decoder_inputs = Input(shape=(None,num_decoder_tokens))
decoder_lstm = LSTM(hidden_units, return_sequences=True, return_state=True)
decoder_outputs, _, _ = decoder_lstm(decoder_inputs, initial_state=encoder_states)
decoder_dense = Dense(num_encoder_tokens, activation='tanh')
decoder_outputs = decoder_dense(decoder_outputs)
model = Model([encoder_inputs, decoder_inputs], decoder_outputs)
#Run training
model.compile(optimizer='adam', loss='mse')
model.fit([input_seqs, target_seqs], target_seqs,batch_size=batch_size, epochs=epochs)
#new target data
target_seqs = np.random.random((2000, 10, num_decoder_tokens))

# define inference encoder
encoder_model = Model(encoder_inputs, encoder_states)
# define inference decoder
decoder_state_input_h = Input(shape=(hidden_units,))
decoder_state_input_c = Input(shape=(hidden_units,))
decoder_states_inputs = [decoder_state_input_h, decoder_state_input_c]
decoder_outputs, state_h, state_c = decoder_lstm(decoder_inputs, initial_state=decoder_states_inputs)
decoder_states = [state_h, state_c]
decoder_outputs = decoder_dense(decoder_outputs)
decoder_model = Model([decoder_inputs] + decoder_states_inputs, [decoder_outputs] + decoder_states)
# Initalizse states 
states_values = encoder_model.predict(input_seqs)

这里它想要与input_seqs中相同的批大小，并且不接受具有2000 批的target_seqs

target_seq = np.zeros((1, 1, num_decoder_tokens))
output=list()
for t in range(timesteps):
output_tokens, h, c  = decoder_model.predict([target_seqs] + states_values)
output.append(output_tokens[0,0,:])
states_values = [h,c]
target_seq = output_tokens

如果模型接受可变长度的输入，我需要更改什么？

Answer 1

您可以在数据中创建一个表示end_of_sequence的单词/令牌。

您可以将长度保持在最大值，并可能使用一些Masking(mask_value)层来避免处理不需要的步骤。

在输入和输出中，添加end_of_sequence标记并使用mask_value完成缺失的步骤。

示例：

• 最长的序列有4个步骤
  • 将添加end_of_sequence令牌设为5：
    • [step1, step2, step3, step4, end_of_sequence]
• 考虑一个更短的序列：
  • [step1, step2, end_of_sequence, mask_value, mask_value]

那么你的形状将是(batch, 5, features)。

---

在您的另一个问题中描述了另一种方法，其中用户手动循环每个步骤，并检查该步骤的结果是否为end_of_sequence令牌：两个序列到序列模型keras之间的差异(有和没有RepeatVector(

如果这是一个自动编码器，那么可变长度还有另一种可能性，即直接从输入中获取长度(必须每个批次只有一个序列，没有填充/屏蔽(：如何将LSTM自动编码器应用于可变长度时间序列数据？

这是另一种方法，我们将输入长度显式存储在潜在向量的保留元素中，然后我们读取它(每个批次也必须只运行一个序列，没有填充(：keras 中的可变长度输出

Answer 2

很遗憾，您无法做到这一点。您必须将输入设置为预期的最大长度。然后，您可以将掩蔽层与嵌入层一起使用，也可以将掩蔽值用作

keras.layers.Masking(mask_value=0.0)

点击此处查看更多信息。