动态循环神经网络:填充词向量



我对填充有点困惑,我的第一个问题是:

  • 是否可以用非 0 的值填充较短的序列?那么在RNN中你如何处理这个问题呢?
  • 一般用0来填充,有没有具体的原因?它是否使训练变得容易,因为它不会影响计算,或者你仍然需要屏蔽损失函数?

  • 如果您的句子由来自 word2vec 模型的向量嵌入组成,填充会作为零向量应用吗?

提前感谢冷杉任何提示!

您的问题已在如何克服使用单词嵌入时训练示例的不同长度 (word2vec( 中得到解决。

有关交替最小/最大填充方法的详细信息,请参阅将单词嵌入应用于整个文档以获取特征向量。

另请参阅:keras.preprocessing.sequence.pad_sequences,它可以将要填充的值作为参数。

最新更新