拆分Dataframe为两个Dataframe

Question

我有一个日期框架，它在数字的基础上具有唯一和重复的记录。现在我想将数据框拆分为两个数据框。在第一个数据框中，我需要复制唯一的行，在第二个数据框中，我想要所有重复的行。例如

     id   name     number
     1    Shan     101
     2    Shan     101
     3    John     102
     4    Michel   103

两个被分割的数据框应该像

独特

      id    name    number
      3     John    102
      4     Michel  103

重复

      id   name     number
      1    Shan     101
      2    Shan     101

Answer 1

您尝试的解决方案可能会让您达到目的。

你的数据看起来像这样

val df = sc.parallelize(Array(
     (1, "Shan",     101),
     (2, "Shan", 101),
     (3, "John", 102),
     (4, "Michel", 103)
     )).toDF("id","name","number")

然后你自己建议分组和计数。如果你这样做

 val repeatedNames = df.groupBy("name").count.where(col("count")>1).withColumnRenamed("name","repeated").drop("count")

，那么你可以在后面做这样的事情:

 val repeated = df.join(repeatedNames, repeatedNames("repeated")===df("name")).drop("repeated")
 val distinct = df.except(repeated)
 repeated show
+---+----+------+
| id|name|number|
+---+----+------+
|  1|Shan|   101|
|  2|Shan|   101|
+---+----+------+
 distinct show
+---+------+------+
| id|  name|number|
+---+------+------+
|  4|Michel|   103|
|  3|  John|   102|
+---+------+------+

希望能有所帮助。