Spark单调地为所有分区提供连续的id

Question

我在Spark中有一个数据帧df，看起来像这样：

val df  = (1 to 10).toList.toDF()

当我检查分区的数量时，我发现我有10个分区：

df.rdd.getNumPartitions
res0: Int = 10

现在我生成一个ID列：

val dfWithID = df.withColumn("id", monotonically_increasing_id())
dfWithID.show()
+-----+---+
|value| id|
+-----+---+
|    1|  0|
|    2|  1|
|    3|  2|
|    4|  3|
|    5|  4|
|    6|  5|
|    7|  6|
|    8|  7|
|    9|  8|
|   10|  9|
+-----+---+

所以所有生成的id都是连续的，尽管我有10个分区。然后我重新划分数据帧：

val dfp = df.repartition(10)
val dfpWithID = dfp.withColumn("id", monotonically_increasing_id())
dfpWithID.show()
+-----+-----------+
|value|         id|
+-----+-----------+
|   10|          0|
|    1| 8589934592|
|    7|17179869184|
|    5|25769803776|
|    4|42949672960|
|    9|42949672961|
|    2|51539607552|
|    8|60129542144|
|    6|68719476736|
|    3|77309411328|
+-----+-----------+

现在我得到了不再连续的id。根据Spark文档，它应该将分区ID放在高31位，在这两种情况下，我都有10个分区。为什么它在调用repartition()之后才添加分区ID？

Answer 1

我认为这是因为初始数据帧中的所有数据都位于一个分区中，其他9个分区为空。

要做到这一点，请使用这里给出的答案：Apache Spark：获取每个分区的记录数