有没有更好的方法来删除列表中多个属性上的重复值

Question

当第一个、第二个或两个属性相等(在列表中多次出现(时，尝试从重复项所在的列表中删除重复项。使用 MoreLINQ，下面的代码可以正常工作：

var list = new List<LinqTest> // LinqTest: object containing 2 strings
{
    // are ok
    new LinqTest { Str1 = "a1", Str2 = "b1"},
    new LinqTest { Str1 = "a2", Str2 = "b2"},
    new LinqTest { Str1 = "a3", Str2 = "b3"},
    new LinqTest { Str1 = "a5", Str2 = "b5"},
    new LinqTest { Str1 = "a6", Str2 = "b6"},
    new LinqTest { Str1 = "x1", Str2 = "y1"},
    new LinqTest { Str1 = "y1", Str2 = "x1"},
    // must be removed
    new LinqTest { Str1 = "d1", Str2 = "b4"},
    new LinqTest { Str1 = "d1", Str2 = "d2"},
    new LinqTest { Str1 = "d1", Str2 = "d2"},
    new LinqTest { Str1 = "a4", Str2 = "d2"},
    new LinqTest { Str1 = "d3", Str2 = "b7"},
    new LinqTest { Str1 = "d3", Str2 = "b8"},
    new LinqTest { Str1 = "d3", Str2 = "b8"},
};
var duplicatesStr1 = list
    .GroupBy(x => x.Str1)
    .Where(x => x.Count() > 1)
    .SelectMany(x => x)
    .ToList();
var duplicatesStr2 = list
    .GroupBy(x => x.Str2)
    .Where(x => x.Count() > 1)
    .SelectMany(x => x)
    .ToList(); ;
var res = list
    .ExceptBy(duplicatesStr1, x => x.Str1)
    .ExceptBy(duplicatesStr2, x => x.Str2);
var rem = duplicatesStr1
    .Union(duplicatesStr2)
    .DistinctBy(x => new { x.Str1, x.Str2})
    .ToList();
Console.WriteLine("----------");
foreach (var linqTest in res)
{
    Console.WriteLine("keep> " + linqTest.Str1 + "-" + linqTest.Str2);
}
Console.WriteLine("----------");
foreach (var linqTest in rem)
{
    Console.WriteLine("remove> " + linqTest.Str1 + "-" + linqTest.Str2);
}

问题：有没有更有效和/或更短的方法来实现这一目标？

Answer 1

可以使用 .Distinct LINQ 方法来执行此操作。您必须定义一个自定义IEqualityComparer来决定何时将两个元素视为不同的元素。

public class MyComparer : IEqualityComparer<LinqTest>
{
    public bool Equals(LinqTest x, LinqTest y)
    {
        return x.Str1 == y.Str1 || x.Str2 == y.Str2;
    }
    public int GetHashCode(LinqTest obj)
    {
        return 0;
    }
}

然后你可以写：

List<LinqTest> noDuplicates = originalList.Distinct(new MyComparer()).ToList();

棘手的部分是正确实现IEqualityComparer(我不是第一次！ GetHashCode()必须为两个被视为相等的对象返回相同的值。由于我们的相等概念不是传递的，因此满足此要求的唯一方法是返回一个常量值。这是允许的，但违背了哈希代码的目标，哈希代码是加速相等性检查的一种方法：如果哈希代码不同，则对象必须不同，而不需要可能更昂贵的"深度"比较。

因此，此代码有效，但无法实现尽可能高的性能。

Answer 2

下面是使用标准 LINQ ToDictionary(( 方法删除基于属性比较重复项的另一种方法。创建一个字典，该字典会累积整个列表中的匹配计数，并在生成的字典中筛选出具有单个匹配项的字典。

        list = list.ToDictionary(
                test => test,
                test => list.Count(item => item.Str1 == test.Str1 || item.Str2 == test.Str2)
            ).Where(pair => pair.Value == 1)
            .Select(pair => pair.Key)
            .ToList();

更好的方法是在单独的类中创建一个扩展方法，并将唯一的属性比较逻辑推送到那里。

internal static class EnumerableExtensions
{
    public static IEnumerable<T> Unique<T>(
        this IEnumerable<T> sequence,
        Func<T, T, bool> match)
    {
        var list = sequence.ToList();
        return list
            .ToDictionary(arg => arg, arg => list.Count(item => match(item, arg)))
            .Where(pair => pair.Value == 1)
            .Select(pair => pair.Key);
    }
}

作为扩展方法公开将导致方法签名为：

list = list.Unique((a, b) => a.Str1 == b.Str1 || a.Str2 == b.Str2).ToList();

Answer 3

您可以执行两次传递，方法是首先多次获取第一个和第二个属性存在的所有值，然后对其进行筛选。 每个属性需要 2 个哈希集。 第一个是跟踪一个值是否至少出现过一次。 如果它至少被看到过一次，那么它就会被添加到第二个哈希集中。 因此，为每个仅包含重复值的属性设置一个哈希集。 然后，只需过滤掉这些哈希集中的任何项目。

HashSet<string> hash1Once = new HashSet<string>();
HashSet<string> hash1More = new HashSet<string>();
HashSet<string> hash2Once = new HashSet<string>();
HashSet<string> hash2More = new HashSet<string>();
foreach(var item in list){
    if(!hash1Once.Add(item.Str1))
        hash1More.Add(item.Str1);
    if(!hash2Once.Add(item.Str2))
        hash2More.Add(item.Str2);
}
var unique = list.Where(x => !hash1More.Contains(x.Str1) && !hash2More.Contains(x.Str2))
    .ToList();