如果在相同的句子上重新训练,word2vec嵌入是否相同?



如果我将相同的句子给予word2vec模型并训练它2次不同的时间(当然具有相同的向量大小),我是否获得相同的单词嵌入?

在word2vec训练过程中有几个随机过程。首先,随机初始化嵌入,其次,使用负采样来近似softmax项中的分母。只有当这些随机过程从相同的种子开始时,向量才会完全相同。

否则,训练将收敛到完全不同的向量,然而,向量之间的距离总是近似相同的。

最新更新