如何重塑文本数据以适合 keras 中的 LSTM 模型



Update1:

我所指的代码正是书中的代码,你可以在这里找到它。

唯一的问题是我不想在解码器部分有embed_size。这就是为什么我认为我根本不需要嵌入层,因为如果我放置嵌入层,我需要在解码器部分有embed_size(如果我错了,请纠正我)。

总的来说,我试图在不使用嵌入层的情况下采用相同的代码,因为我需要在解码器部分vocab_size

我认为评论中提供的建议可能是正确的(using one_hot_encoding)我如何面对此错误:

当我做one_hot_encoding

tf.keras.backend.one_hot(indices=sent_wids, classes=vocab_size)

我收到此错误:

in check_num_samples you should specify the + steps_name + argument ValueError: If your data is in the form of symbolic tensors, you should specify the steps_per_epoch argument (instead of the batch_size argument, because symbolic tensors are expected to produce batches of input data)

我准备数据的方式是这样的:

sent_lens的形状是(87716, 200)的,我想以一种可以将其输入 LSTM 的方式重塑它。 这里200代表sequence_lenght87716是我拥有的样本数量。

以下是LSTM Autoencoder的代码:

inputs = Input(shape=(SEQUENCE_LEN,VOCAB_SIZE), name="input")
encoded = Bidirectional(LSTM(LATENT_SIZE), merge_mode="sum", name="encoder_lstm")(inputs)
decoded = RepeatVector(SEQUENCE_LEN, name="repeater")(encoded)
decoded = LSTM(VOCAB_SIZE, return_sequences=True)(decoded)
autoencoder = Model(inputs, decoded)
autoencoder.compile(optimizer="sgd", loss='mse')
autoencoder.summary()
history = autoencoder.fit(Xtrain, Xtrain,batch_size=BATCH_SIZE, 
epochs=NUM_EPOCHS)

我还需要做任何额外的事情吗,如果不是,为什么我不能得到这个作品?

请让我知道我将解释哪个部分不清楚。

感谢您的帮助:)

您需要按以下方式重塑数据:

  • 样品。一个序列是一个样本。一个批次由一个或 更多样品。
  • 时间步长。一个时间步长是一个观察点 在示例中。
  • 功能。一个要素是一次一个观测值 步。

(samples, time_steps, features)

然后,您的模型应如下所示(简化版本):

visible = Input(shape=(time_steps, features))
encoder = LSTM(100, activation='relu')(visible)
# define reconstruct decoder
decoder = RepeatVector(time_steps)(encoder)
decoder = LSTM(100, activation='relu', return_sequences=True)(decoder)
decoder = TimeDistributed(Dense(features))(decoder)
model = Model(visible, decoder)

查看这个很棒的教程。应该对您的情况有所帮助。

但是,也就是说,您可能只需要扩展数组的维度。

也看看这个,它可能会解决问题。

希望以上内容对您有所帮助。

正如评论中所说,事实证明我只需要做one_hot_encoding.

当我使用 tf.keras.后端进行one_hot编码时,它会抛出我在问题中更新的错误。

然后我尝试to_categorical(sent_wids, num_classes=VOCAB_SIZE)它修复了(但是面临memory error:D这是不同的故事)!!

我还应该提到我尝试了sparse_categorical_crossentropy而不是one_hot_encoding尽管它不起作用!

谢谢你的帮助:)

相关内容

  • 没有找到相关文章

最新更新