查找具有不同值的列

Question

我的数据框架有120列。假设我的数据框架具有以下结构

Id  value1 value2 value3
a    10     1983  19
a    20     1983  20
a    10     1983  21
b    10     1984  1
b    10     1984  2

我们可以看到id a， value1有不同的值(10,20)。我必须找到对特定id具有不同值的列。spark中是否有统计学或其他方法来解决这个问题?预期的输出

   id new_column
   a value1,value3
   b value3

Answer 1

下面的代码可能是答案的开头:

val result = log.select("Id","value1","value2","value3").groupBy('Id).agg('Id, countDistinct('value1),countDistinct('value2),countDistinct('value3))

应该这样做:

1)

log.select("Id","value1","value2","value3")

选择相关的列(如果你想取所有的列，它可能是多余的)

2)

groupBy('Id)

对具有相同ID的行进行分组

3)

agg('Id, countDistinct('value1),countDistinct('value2),countDistinct('value3))

输出:ID，以及每个ID/特定列的唯一(不同)值的数量(计数)

Answer 2

您可以通过几种方式做到这一点，其中之一是distinct方法，这类似于SQL行为。另一种方法是groupBy方法，您必须在参数中传递您想要分组的列的名称(例如df.groupBy("Id", "value1"))。

下面是使用distinct方法的示例。

scala> case class Person(name : String, age: Int)
defined class Person
scala> val persons = Seq(Person("test", 10), Person("test", 20), Person("test", 10)).toDF
persons: org.apache.spark.sql.DataFrame = [name: string, age: int]
scala> persons.show
+----+---+
|name|age|
+----+---+
|test| 10|
|test| 20|
|test| 10|
+----+---+
scala> persons.select("name", "age").distinct().show
+-----+---+
| name|age|
+-----+---+
| test| 10|
| test| 20|
+-----+---+