我有这个:
In [1]:a = sc.parallelize([a,b,c])
In [2]:a.cartesian(a).collect()
Out[3]: [(a, a), (a, b), (a, c), (b, a), (c, a), (b, b), (b, c), (c, b), (c, c)]
我想要以下结果:
In [1]:a = sc.parallelize([1,2,3])
In [2]:a.cartesianMoreInteligent(a).collect()
Out[3]: [(a, a), (a, b), (a, c), (b, b), (b, c), (c, c)]
因为我的微积分返回了一个对称矩阵(相关性)。实现这一目标的最佳方式是什么?(无环路)对于a,b和c可以是任何东西,甚至是元组。
不确定python语法,但在scala中可以写:
a.cartesian(a).filter{ case (a,b) => a <= b }.collect()
我的猜测是,在python中,它会类似于:
a.cartesian(a).filter(lambda a, b: a <= b).collect()