如何训练具有n个g的神经网络(LSTM)

Question

目前我只使用单个单词进行训练，这些单词被转换为数字向量。问题是，所有的分类都是基于单个单词的出现，而没有考虑上下文。有没有一种方法可以用几个单词组成的袋子来喂养我的神经网络？

因此，与其使用文本中的单个单词，例如(文本已经过预处理(：

我想让LSTM基于上下文进行分类：

吉姆·马蒂星期五说：

Answer 1

为了回答我自己的问题：LSTM本质上在内部使用n-gram。这是由于网络中经常出现连接。因此，LSTM正在构建类似n-gram的东西，一个句子可以一个字一个字地赋予LSTM。此外，为了预测新的句子，可以向LSTM提供句子。