用Keras中的双向LSTM填空句子

Question

我目前正在研究RNN，特别是LSTM，我试图弄清楚如何实现一个双向LSTM来填补句子中缺失的单词。我对要传递给模型拟合方法的列车集的结构有疑问。如果我的句子列表由这样的元素组成:"嗨，伙计们，"是吗?"而我的目标标签是"如何"，BI-LSTM如何理解它必须预测缺失的值而不是句子的下一个元素?我在这里看到，双向LSTM的优点是能够查看过去和未来的令牌，以获得有关上下文的信息，并更好地预测目标，但我仍然不知道如何在实践中实现这一点。所以我的问题是:

1. 我的火车集的结构是什么?
2. BI-LSTM知道要预测什么令牌吗?还是我必须指定它?以及如何?

Answer 1

BI-LSTM如何理解它必须预测缺失的值而不是句子的下一个元素?

如果你训练它，那么它应该"理解";你想让它做什么

1. 您的训练集将是句子中的单词列表(以正确的顺序)，不包括缺失的单词。您还可以选择用缺字标记替换缺字。，这样模型就少了一个任务。老实说，有很多方法可以做到这一点。y将是缺失的单词。

2. 我不太明白你的意思，但我相信我已经在第一个答案中回答过了。