连接 Spark 数据帧 N 次

Question

我有一个包含 N 行的数据帧，它只有一列。我想复制它N次并连接起来。所以最后我想用 N^2 行创建另一个数据帧。

我怎样才能简单地使用 Scala 来实现这一点？我不想用于循环等，因为 N 很大。

Answer 1

您可以使用折叠函数执行此操作：

(0 until df.count.toInt).foldLeft(df){case (acc,_) => acc.unionAll(df)}.show

唯一的约束是 N 必须小于 Int.Max_Value。希望这对:)有所帮助

您可以使用小 df 进行测试：

val df = sc.parallelize(List(("r1"),("r2"),("r3"))).toDF("c")