我有一个包含几个观察结果的文本文件。每个观察值都在一行中。我想检测一行中每个单词的唯一出现。换句话说,如果同一个单词在同一行中出现两次或两次以上,它仍然被计算为一次。然而,我想计算每个单词在所有观察中出现的频率。这意味着如果一个单词出现在两行或更多行中,我想要计算它出现的行数。这是我写的程序,它在处理大量文件时真的很慢。我还通过引用另一个文件来删除文件中的某些单词。请提供如何提高速度的建议。谢谢你。
import re, string
from itertools import chain, tee, izip
from collections import defaultdict
def count_words(in_file="",del_file="",out_file=""):
d_list = re.split('n', file(del_file).read().lower())
d_list = [x.strip(' ') for x in d_list]
dict2={}
f1 = open(in_file,'r')
lines = map(string.strip,map(str.lower,f1.readlines()))
for line in lines:
dict1={}
new_list = []
for char in line:
new_list.append(re.sub(r'[0-9#$?*_><@()&;:,.!-+%=[]-/^]', "_", char))
s=''.join(new_list)
for word in d_list:
s = s.replace(word,"")
for word in s.split():
try:
dict1[word]=1
except:
dict1[word]=1
for word in dict1.keys():
try:
dict2[word] += 1
except:
dict2[word] = 1
freq_list = dict2.items()
freq_list.sort()
f1.close()
word_count_handle = open(out_file,'w+')
for word, freq in freq_list:
print>>word_count_handle,word, freq
word_count_handle.close()
return dict2
dict = count_words("in_file.txt","delete_words.txt","out_file.txt")
在该行的每个字符上运行re.sub,每次一个。这是缓慢的。整行执行:
s = re.sub(r'[0-9#$?*_><@()&;:,.!-+%=[]-/^]', "_", line)
另外,看一下集合模块中的集合和Counter类。如果你只是计数,然后丢弃那些你不想要的,可能会更快。
在没有进行任何性能测试的情况下,我想到了以下内容:
1)你正在使用正则表达式——为什么?你只是想摆脱某些角色吗?
2)你正在使用异常进行流控制——尽管它可以是python式的(请求原谅比请求允许更好),抛出异常通常会很慢。如下所示:
for word in dict1.keys():
try:
dict2[word] += 1
except:
dict2[word] = 1
3)将d_list
变成一个集合,并使用python的in
来测试其隶属性,同时…
4)避免在字符串上大量使用replace
方法——我相信你正在使用这个来过滤掉出现在d_list
中的单词。这可以通过避免replace
,只过滤行中的单词来实现,或者使用列表推导式:
[word for word words if not word in del_words]
或带过滤器(不是很python):
filter(lambda word: not word in del_words, words)
import re
u_words = set()
u_words_in_lns = []
wordcount = {}
words = []
# get unique words per line
for line in buff.split('n'):
u_words_in_lns.append(set(line.split(' ')))
# create a set of all unique words
map( u_words.update, u_words_in_lns )
# flatten the sets into a single list of words again
map( words.extend, u_words_in_lns)
# count everything up
for word in u_words:
wordcount[word] = len(re.findall(word,str(words)))