我想将X_train_word2vec
向量作为输入传递给Gensim Word2Vec
模型。 向量类型为numpy.ndarray
,例如:
X_train_word2vec[9] = array([ 19, 7, 1, 20120, 2, 1, 856, 233, 671,
1, 1208, 6016, 2, 32, 0, 0, 0, 0, ....)]
当我运行此代码时:
model_word2vec = models.Word2Vec(X_train_word2vec, size=150, window=9)
model_word2vec.train(X_train_word2vec,total_examples=X_train_word2vec.shape[0], epochs=10)
我收到此错误:
TypeError: ufunc 'add' did not contain a loop with signature matching types dtype('<U11') dtype('<U11') dtype('<U11')
我已经阅读了这篇文章,其中的问题是由于输入数组中的不同数据类型引起的,但就我而言,我拥有相同类型的所有数据:int
.
更新:model_Word2Vec
前的代码:
tokenizer = Tokenizer()
tokenizer.fit_on_texts(X)
sequence = tokenizer.texts_to_sequences(X)
seq_max_len = 50
X_seq = pad_sequences(sequenza, maxlen=seq_max_len,padding='post',truncating='post',dtype=int)
X_train_word2vec, X_test_word2vec, y_train_word2vec, y_test_word2vec = train_test_split(X_seq, y_cat, test_size=0.2, random_state=123)
Gensim 的Word2Vec
需要一个文本语料库——比如在其初始者的第一个参数中——这是一个字符串标记列表的可迭代序列对象。它不需要原始的 numpy 数组。
此外,如果您在实例化时确实提供了语料库,就像在您的代码行中一样......
model_word2vec = models.Word2Vec(X_train_word2vec, size=150, window=9)
。然后它将自动执行词汇构建和训练步骤。然后,您无需显式调用train()
。(而且,虽然可以再次调用train()
,但很少有用户需要这样做。通常的安全方法是对完整的语料库进行一次训练,然后模型"完成"。
最后,train()
还期望任何语料库都是字符串标记列表的可迭代序列对象。
如果您提供了正确类型的语料库,则您会收到像您收到的错误是值得怀疑的。