Spark SQL:如何减少一对多关系

Question

我有以下数据帧/表：

id|counter
23534074|1
23534074|2
23534074|3
24142005|1
24142005|2

我想把它简化为只有不同的id（例如，通过取第一个id行）。因此，生成的数据帧应该看起来像：

id|counter
23534074|1
24142005|1

这就是我迄今为止所做的：

我用读取数据

val tf = sqlContext.read.format("com.databricks.spark.csv")
  .option("header", "true")
  .option("delimiter", "|")
  .load("test.csv")

使用创建tempTable

tf.registerTempTable("TF")

这就是我试图在"id"上获得不同的方式

sqlContext.sql("select distinct(id),counter from TF group by id,counter").show

但它并没有给我预期的结果：

+--------+-------+
|      id|counter|
+--------+-------+
|23534074|      1|
|23534074|      2|
|23534074|      3|
|24142005|      1|
|24142005|      2|
+--------+-------+

有什么想法可以使用Spark SQL做到这一点吗？谢谢

Answer 1

还不清楚您的需求是什么，所以这里有几个选项：

• 对counter列进行简单筛选，这假设计数器是唯一的，1是您想要的值

  tf.where($"counter" === 1)
  

  相当于：

  SELECT * FROM tf WHERE counter = 1
  

• 使用带有first的groupBy（这里没有订单保证，您得到的只是第一个遇到的值）：

  tf.groupBy($"id").agg(first($"counter")).show
  

  相当于：

  SELECT id, FIRST(counter) AS counter FROM tf GROUP BY id
  

• 窗口函数，当计数器提供一些排序并且您想要最低/最高值的时，这很有用

  import org.apache.spark.sql.expressions.Window
  import org.apache.spark.sql.functions.rowNumber
  val w = Window.partitionBy($"id").orderBy($"counter")
  tf.withColumn("rn", rowNumber.over(w)).where($"rn" === 1).drop("rn")
  

  相当于

  SELECT id, counter FROM (
    SELECT *, ROW_NUMBER() OVER (PARTITION BY id ORDER BY counter) rn FROM tf
  ) tmp WHERE rn = 1