Python:基于 word2vec 对相似的单词进行聚类

Question

这可能是我要问的幼稚问题。我有一个标记化的语料库，我已经训练了Gensim的Word2vec模型。代码如下

site = Article("http://www.datasciencecentral.com/profiles/blogs/blockchain-and-artificial-intelligence-1")
site.download()
site.parse()
def clean(doc):
stop_free = " ".join([i for i in word_tokenize(doc.lower()) if i not in stop])
punc_free = ''.join(ch for ch in stop_free if ch not in exclude)
normalized = " ".join(lemma.lemmatize(word) for word in punc_free.split())
snowed = " ".join(snowball.stem(word) for word in normalized.split())
return snowed   
b = clean(site.text)
model = gensim.models.Word2Vec([b],min_count=1,size=32)
print(model) ### Prints: Word2Vec(vocab=643, size=32, alpha=0.025) ####

为了对相似单词进行聚类，我正在使用 PCA 来可视化相似单词的聚类。但问题是它只形成图像中看到的大集群。

PCA 和散点图代码：

vocab = list(model.wv.vocab)
X = model[vocab]
pca = PCA(n_components=2)
X_pca = pca.fit_transform(X)
df = pd.concat([pd.DataFrame(X_pca),
pd.Series(vocab)],
axis=1)
df.columns = ['x','y','word']
fig = plt.figure()
ax = fig.add_subplot(1,1,1)
ax.scatter(df['x'],df['y'])
plt.show()

所以，我这里有三个问题：

1(仅仅一篇文章就足以明确划分集群吗？

2(如果我有一个用巨大的语料库训练的模型，我想预测新文章中的相似单词并以集群的形式可视化它们(即我正在预测的文章中的单词(，有没有办法做到这一点？

我非常感谢您的建议。谢谢。

Answer 1

1. 不，不是真的。作为参考，在维基百科(英语(上训练的常见word2vec模型包含大约30亿个单词。
2. 您可以使用 KNN(或类似的东西(。Gensim具有most_similar功能，可以获取最接近的单词。使用降维(如PCA或tsne(，你可以得到一个很好的集群。(不确定 gensim 是否有 tsne 模块，但 sklearn 有，所以你可以使用它(

顺便说一句，您指的是某些图像，但它不可用。