使用 LINQ 进行简单的语言识别

Question

我第一次尝试 LINQ，并决定尝试基本的人类语言识别。输入文本根据该语言中最常见的 10,000 个单词中的 HashSet 个进行测试，并获得分数。

我的问题是，有没有更好的 LINQ 查询方法？也许是我不知道的另一种形式？它有效，但我相信这里的专家将能够提供更干净的解决方案！

public PolyAnalyzer() {
    Dictionaries = new Dictionary<string, AbstractDictionary>();
    Dictionaries.Add("Bulgarian", new BulgarianDictionary());
    Dictionaries.Add("English", new EnglishDictionary());
    Dictionaries.Add("German", new GermanDictionary());
    Dictionaries.Values.Select(n => new Thread(() => n.LoadDictionaryAsync())).ToList().ForEach(n => n.Start());            
}  
public string getResults(string text) {
    int total = 0;
    return string.Join(" ",
        Dictionaries.Select(n => new {
            Language = n.Key,
            Score = new Regex(@"W+").Split(text).AsQueryable().Select(m => n.Value.getScore(m)).Sum()
        }).
        Select(n => { total += n.Score; return n; }).
        ToList().AsQueryable(). // Force immediate evaluation
        Select(n =>
        "[" + n.Score * 100 / total + "% " + n.Language + "]").
        ToArray());
}

附言我知道这是一种极其简单的语言识别方法，我只是对 LINQ 方面感兴趣。

Answer 1

我会像这样重构它：

    public string GetResults(string text)
    {
        Regex wordRegex = new Regex(@"W+");
        var scores = Dictionaries.Select(n => new
            {
                Language = n.Key,
                Score = wordRegex.Split(text)
                                 .Select(m => n.Value.getScore(m))
                                 .Sum()
            });
        int total = scores.Sum(n => n.Score);
        return string.Join(" ",scores.Select(n => "[" + n.Score * 100 / total + "% " + n.Language + "]");
    }

几点：

1. AsQueryAble()是不必要的——这都是 Linq to Objects，它IEnumerable<T> - 足够好。

2. 删除了一些ToList() - 也不必要，避免急于加载不需要时的结果。

3. 虽然只有一个 LINQ 很好查询这不是比赛 - 目标为了整体可读性，并考虑如何您（和其他人）必须维护代码。我将您的查询分为三个更具可读性 （imo） 的部分。

4. 尽一切努力避免副作用可能 - 我删除了你拥有的那个到变量total - 它是令人困惑 - 不应使用 LINQ 查询有副作用，因为运行两次相同的查询可能会产生不同的结果。在您的情况下，您只需在单独的 Linq 查询中计算总数。

5. 不要在 Linq 中重新更新或重新计算变量投影（如果没有必要） - I从 Linq 中删除了正则表达式查询并初始化变量一旦在外面 - 否则你是重新续订正则表达式实例N次而不是一次。这可能会对性能产生巨大影响，具体取决于查询。

Answer 2

我认为您发布的代码非常混乱。我已经重写了它，我认为它给了你相同的结果（当然我无法测试它，实际上我认为你的代码有一些错误的部分），但现在它应该更简洁。如果这是不正确的，请告诉我。

public PolyAnalyzer()
{
    Dictionaries = new Dictionary<string, AbstractDictionary>();
    Dictionaries.Add("Bulgarian", new BulgarianDictionary());
    Dictionaries.Add("English", new EnglishDictionary());
    Dictionaries.Add("German", new GermanDictionary());
    //Tip: Use the Parallel library to to multi-core, multi-threaded work.
    Parallel.ForEach(Dictionaries.Values, d =>
    {
        d.LoadDictionaryAsync();
    });            
}  
public Dictionary<string, int> GetResults(string text)
{
    //1) Split the words.
    //2) Calculate the score per dictionary (per language).
    //3) Return the scores.
    string[] words = new Regex(@"w+").Split().ToArray();
    Dictionary<string, int> scores = this.Dictionaries.Select(d => new
    {
        Language = d.Key,
        Score = words.Sum(w => d.Value.GetScore(w))
    }));
    return scores;
}