如何根据属性(zip，join)压缩2个序列

Question

我想根据一个公共属性压缩两个序列的项，类似于在使用枚举时连接它们。我怎样才能通过第二次考试？

using NUnit.Framework;
using System;
using System.Collections.Generic;
using System.Linq;
using System.Reactive.Linq;
using System.Threading.Tasks;
public class SequenceTests
{
private class Entry
{
public Entry(DateTime timestamp, string value)
{
Timestamp = timestamp;
Value = value;
}
public DateTime Timestamp { get; }
public string Value { get; }
}
private readonly IEnumerable<Entry> Tasks = new List<Entry>
{
new Entry(new DateTime(2021, 6, 6), "Do homework"),
new Entry(new DateTime(2021, 6, 7), "Buy groceries"), // <-- This date is also in the People collection!
new Entry(new DateTime(2021, 6, 8), "Walk the dog"),
};
private readonly IEnumerable<Entry> People = new List<Entry>
{
new Entry(new DateTime(2021, 6, 4), "Peter"),
new Entry(new DateTime(2021, 6, 5), "Jane"),
new Entry(new DateTime(2021, 6, 7), "Paul"), // <-- This date is also in the Tasks collection!
new Entry(new DateTime(2021, 6, 9), "Mary"),
};
private class Assignment
{
public string Task { get; set; }
public string Person { get; set; }
}
[Test]
public void Join_two_collections_should_succeed()
{
var assignments = Tasks
.Join(People, 
task => task.Timestamp,
person => person.Timestamp,
(task, person) => new Assignment { Task = task.Value, Person = person.Value });
Assert.AreEqual(1, assignments.Count());
Assert.AreEqual("Buy groceries", assignments.First().Task);
Assert.AreEqual("Paul", assignments.First().Person);
}
[Test]
public async Task Zip_two_sequences_should_succeed()
{
var tasks = Observable.ToObservable(Tasks);
var people = Observable.ToObservable(People);
var sequence = tasks
.Zip(people)
.Select(pair => new Assignment { Task = pair.First.Value, Person = pair.Second.Value });
var assignments = await sequence.ToList();
Assert.AreEqual(1, assignments.Count);
Assert.AreEqual("Buy groceries", assignments.First().Task);
Assert.AreEqual("Paul", assignments.First().Person);
}
}

Answer 1

我不喜欢发布的任何一个答案。它们都是同一主题的变体：将两个序列的所有成员无限期地保存在内存中，每当出现新的左元素时，都会迭代整个右序列，每当出现一个新的右元素时，则会递增地检查左键。这两个答案都是无限期的O(L + R)内存，并且是O(R * L)时间复杂度(其中L和R是左右序列的大小(。

如果我们处理的是集合(或可枚举(，那就足够了。但我们不是：我们正在处理可观察性，答案应该承认这一点。实际用例之间可能存在很大的时间间隔。这个问题是作为一个源于枚举的测试用例提出的。如果它只是一个可枚举的，正确的答案是转换回可枚举并使用Linq的Join。如果有可能是一个有时间间隔的长时间运行的过程，答案应该承认，你可能只想加入一段时间内发生的元素，从而在过程中释放内存。

这满足了测试答案，同时允许一个时间框：

var sequence = tasks.Join(people,
_ => Observable.Timer(TimeSpan.FromSeconds(.5)),
_ => Observable.Timer(TimeSpan.FromSeconds(.5)),
(t, p) => (task: t, person: p)
)
.Where(t => t.person.Timestamp == t.task.Timestamp)
.Select(t => new Assignment { Task = t.task.Value, Person = t.person.Value });

这将为每个0.5秒的元素创建一个窗口，这意味着如果左元素和右元素在0.5秒内弹出，它们将匹配。0.5秒后，每个元素从内存中释放。无论出于何种原因，如果您不想从内存中释放并无限期地保留内存中的所有对象，这就足够了：

var sequence = tasks.Join(people,
_ => Observable.Never<Unit>(),
_ => Observable.Never<Unit>(),
(t, p) => (task: t, person: p)
)
.Where(t => t.person.Timestamp == t.task.Timestamp)
.Select(t => new Assignment { Task = t.task.Value, Person = t.person.Value });

Answer 2

这里有一个自定义的Join运算符，可以用来解决这个问题。它基于Merge、GroupByUntil和SelectMany运算符：

/// <summary>
/// Correlates the elements of two sequences based on matching keys. Results are
/// produced for all combinations of correlated elements that have an overlapping
/// duration.
/// </summary>
public static IObservable<TResult> Join<TLeft, TRight, TKey, TResult>(
this IObservable<TLeft> left,
IObservable<TRight> right,
Func<TLeft, TKey> leftKeySelector,
Func<TRight, TKey> rightKeySelector,
Func<TLeft, TRight, TResult> resultSelector,
TimeSpan? keyDuration = null,
IEqualityComparer<TKey> keyComparer = null)
{
// Arguments validation omitted
keyComparer ??= EqualityComparer<TKey>.Default;
var groupDuration = keyDuration.HasValue ?
Observable.Timer(keyDuration.Value) : Observable.Never<long>();
return left
.Select(x => (x, (TRight)default, Type: 1, Key: leftKeySelector(x)))
.Merge(right.Select(x => ((TLeft)default, x, Type: 2, Key: rightKeySelector(x))))
.GroupByUntil(e => e.Key, _ => groupDuration, keyComparer)
.Select(g => (
g.Where(e => e.Type == 1).Select(e => e.Item1),
g.Where(e => e.Type == 2).Select(e => e.Item2).Replay().AutoConnect(0)
))
.SelectMany(g => g.Item1.SelectMany(_ => g.Item2, resultSelector));
}

用法示例：

IObservable<Assignment> sequence = tasks
.Join(people, t => t.Timestamp, p => p.Timestamp,
(t, p) => new Assignment { Task = t.Value, Person = p.Value });

应该注意的是，如果不缓冲两个源序列产生的所有元素，就不能保证100%的正确性来解决这个问题。显然，在序列包含无限元素的情况下，这不会很好地扩展。

在牺牲绝对正确性以支持可伸缩性是可以接受的情况下，可选的keyDuration参数可用于配置存储密钥(及其相关元素(可以保留在内存中的最大持续时间。在具有该密钥的新元素由left或right序列产生的情况下，过期的密钥可以潜在地再生。

上面的实现对于包含大量元素的序列执行得相当好。在我的电脑中，加入两个相同大小的序列，每个序列都有100000个元素，大约需要8秒。

Answer 3

可观察的Zip运算符的工作原理与可枚举版本相同。你在第一次测试中没有使用它，所以它不像是你需要的操作员。

您所需要的只是SelectMany运算符。

尝试此查询：

var sequence =
from t in tasks
from p in people
where t.Timestamp == p.Timestamp
select new Assignment { Task = t.Value, Person = p.Value };

这适用于你的测试。