将每个文档转换为基于TF-IDF的矢量

Question

我写了下面的代码，用于计算TF-IDF分数

docs=['ali is a good boy',
'a good boy is not bad',
'ali is not bad but bad is good']
cv=CountVectorizer()
# this steps generates word counts for the words in your docs
word_count_vector=cv.fit_transform(docs)
print(word_count_vector)
tfidf_transformer=TfidfTransformer(smooth_idf=True,use_idf=True)
tfidf_transformer.fit(word_count_vector)
# print idf values
df_idf = pd.DataFrame(tfidf_transformer.idf_, index=cv.get_feature_names(),columns=["idf_weights"])
# sort ascending
df_idf.sort_values(by=['idf_weights'])
# count matrix
count_vector=cv.transform(docs)
# tf-idf scores
tf_idf_vector=tfidf_transformer.transform(count_vector)
feature_names = cv.get_feature_names()
print(feature_names)
#get tfidf vector for first document
first_document_vector=tf_idf_vector[0]
#for first_document_vector in tf_idf_vector:
#print the scores
df=(pd.DataFrame(first_document_vector.T.todense().transpose(),columns=feature_names))
df.to_csv('file1.csv') 

1-最后我能够得到第一个文档的矢量。但是我不能得到所有文档的矢量。我试着循环并附加到数据帧，但没有成功。2-如何将文档的索引保存在csv文件中
我必须在电影镜头数据集的电影情节上运行它。这就是为什么保存文档索引对我来说很重要。

Answer 1

获取所有文档的矢量：

#get tfidf vector for all documents
all_document_vector = tf_idf_vector
df= pd.DataFrame(all_document_vector.T.todense().transpose(),columns=feature_names)

导出带索引的csv文件：

df.to_csv('file1.csv',index=True, index_label = 'Index')