如何在gensim创建的word2vec上运行tsne

Question

我想可视化从gensim库创建的word2vec。我试过sklearn，但似乎我需要安装一个开发人员版本来获得它。我尝试安装开发人员版本，但这在我的机器上不起作用。是否可以修改此代码以使word2vec模型可视化?

tsne_python

Answer 1

您不需要scikit-learn的开发版-只需通过pip或conda以通常的方式安装scikit-learn。

要访问由word2vec创建的单词向量，只需使用单词字典作为模型的索引:

X = model[model.wv.vocab]

下面是一个简单但完整的代码示例，它加载一些新闻组数据，应用非常基本的数据准备(清理和分解句子)，训练word2vec模型，使用t-SNE降维，并将输出可视化。

from gensim.models.word2vec import Word2Vec
from sklearn.manifold import TSNE
from sklearn.datasets import fetch_20newsgroups
import re
import matplotlib.pyplot as plt
# download example data ( may take a while)
train = fetch_20newsgroups()
def clean(text):
    """Remove posting header, split by sentences and words, keep only letters"""
    lines = re.split('[?!.:]s', re.sub('^.*Lines: d+', '', re.sub('n', ' ', text)))
    return [re.sub('[^a-zA-Z]', ' ', line).lower().split() for line in lines]
sentences = [line for text in train.data for line in clean(text)]
model = Word2Vec(sentences, workers=4, size=100, min_count=50, window=10, sample=1e-3)
print (model.wv.most_similar('memory'))
X = model.wv[model.wv.vocab]
tsne = TSNE(n_components=2)
X_tsne = tsne.fit_transform(X)
plt.scatter(X_tsne[:, 0], X_tsne[:, 1])
plt.show()

Answer 2

使用下面的代码，而不是使用numpy垂直连接所有的单词嵌入。vstack成矩阵X，然后fit_transform

import numpy as np
from sklearn.manifold import TSNE
X = np.array([[0, 0, 0], [0, 1, 1], [1, 0, 1], [1, 1, 1]])
model = TSNE(n_components=2, random_state=0)
np.set_printoptions(suppress=True)
model.fit_transform(X) 

fit_transform的输出形状为vocab_size x 2，因此您可以可视化它。

vocab = sorted(word2vec_model.get_vocab()) #not sure the exact api
emb_tuple = tuple([word2vec_model[v] for v in vocab])
X = numpy.vstack(emb_tuple)