我有一个csv文件作为
col1 col2 col3
some text someID some value
some text someID some value
在每一行中,col1对应于整个文档的文本。我想从这个csv创建一个语料库。我的目标是使用sklearn的TfidfVectorizer来计算文档相似度和关键字提取。所以考虑
tfidf = TfidfVectorizer(tokenizer=tokenize, stop_words='english')
tfs = tfidf.fit_transform(<my corpus here>)
这样我就可以使用了
str = 'here is some text from a new document'
response = tfidf.transform([str])
feature_names = tfidf.get_feature_names()
for col in response.nonzero()[1]:
print feature_names[col], ' - ', response[0, col]
如何使用nltk创建语料库?语料库应该是什么形式/数据结构才能提供给转换函数?
从pandas
库中检出read_csv
。以下是文档:http://pandas.pydata.org/pandas-docs/stable/generated/pandas.read_csv.html
您可以通过在命令行运行pip install pandas
来安装panda。然后加载csv并选择该列应该像下面这样简单:
data = pd.read_csv(path_to_csv)
docs = data['col1']
tfs = tfidf.fit_transform(docs)