MapReduce中的函数组合

Question

假设我们有两个文件f1和f2，它们的键值对表示数学意义上的函数。使用MapReduce找到它们的组合最简单的方法是什么？最有效的方法是什么？

例如，给定：

f1
a -> b
x -> y
s -> t
f2
b -> c
t -> r
f1 . f2 (composition of f1 and f2) would be
a -> c
s -> r

Answer 1

1. 将f1反转为f1'

2. 同时在CCD_ 3和CCD_。对于f2中的每个x->v2，以及对于f1'中的所有x->k1（如果有），输出k1->v2。

只有当f1具有相当大的范围时，这才会起作用。如果太多的k1映射到同一个v1，那么相应的映射工作程序将被淹没。