在映射任务中，长正则表达式的最佳选项是什么

Question

我有一本关于生物医学实体的术语词典。每个术语（键）都有一个标识符（值）列表。

我必须在自由文本中找到这个术语。我有几本字典，大约有300000个术语，为了完成这项任务，我使用Python和Java来评估速度。

算法类似于（在Python中）：

for sentence in text_list:
    terms = dictionary.keys()
    pattern = re.compile("|".join(terms))
    matches = pattern.finditer(sentence)
    for m in matches:
        ini = m.start()
        end = m.end()
        match = m.group(1)
        save_result(ini, end, match)

我使用pypi.python.org/pypi/regex包，因为标准的re-package无法编译我的长正则表达式。此外，我在Java中也做了同样的算法。

我使用了大约65万个句子，在Python中，编译需要3-4分钟，算法可以在3-4小时内完成。

Java在几秒钟内编译正则表达式，但算法需要16-18小时。。。无

我一直在阅读不同的网站http://swtch.com/~rsc/regexp/regexp1.html有一个有趣的信息，但我不知道如何处理。

我的问题是……我已经在大约3小时内完成了所有句子，你知道用另一种方法在更短的时间内完成吗？也许用其他语言，或者使用其他库或包？（在Java中，我使用的是标准库java.util.regex.*）。上面的网站谈到了Thonpson NFA算法，有Java、Python或其他什么的这个算法的库或包吗？grep（Linux）是一个强大的工具，你认为我可以使用它吗？

Answer 1

正则表达式是用于此作业的错误工具。用你的术语创建一个字典（Python的哈希表名称），将你的文本拆分为单词（使用string.split和string.rstrip删除标点符号），并对照这个字典检查文本中的每个单词。

Answer 2

您正在为文本中的每一句话重建并重新编译re。在循环外编译一次：

terms = dictionary.keys()              # why are you using a dict?
pattern = re.compile("|".join(terms))
for sentence in text_list:
    matches = pattern.finditer(sentence)
    # etc.

这应该会为你节省一些时间。

如果你想要一个包含Cox描述的算法的RE库，可以四处寻找到他的RE2库的Python或Java绑定。或者，使用egrep或Awk。