从语料库中查找匹配的常用单词或短语的有效算法

Question

我正在尝试找到一种有效的方法来查找常用短语。 我想我可以用一个例子更好地解释。

输入：将每一行视为句子

B
B C
A B C B
D E
F D E

输出：

B
D E

第 2 行和第 3 行被取消，因为 B（第 1 行）对它们来说是通用的。5号线被取消，因为4号线是常见的。

我希望我已经解释了它！

我可以通过匹配来运行 O（n^2）。 欣赏任何更好的东西。

更新：请考虑顺序（例如D E应与句子F D E匹配。 E D不应该。

Answer 1

我能想到的最快的方法是：

public static void main(String[] args) throws Exception {
    List<String> toOutput = new ArrayList<String>();
    BufferedReader br = new BufferedReader(new FileReader("input.txt"));
    String line;
    while ((line = br.readLine()) != null) {
        boolean add = true;
        for (int i = 0; i < toOutput.size(); i++) {
            if (toOutput.get(i).contains(line)) {
                toOutput.remove(i);
            } else if (line.contains(toOutput.get(i))) {
                add = false;
                break;
            }
        }
        if (add) {
            toOutput.add(line);
        }
    }
    br.close();
    for (String s : toOutput) {
        System.out.println(s);
    }
}

输入.txt：

B
B C
A B C B
F D E
D E

输出：

B
D E

验证当前句子是否包含我们当前发现的唯一字符串。我不认为有更有效的方法这样做。