如何使用 Spark 数据帧中的表达式合并重复行

Question

如何通过比较列删除重复项来合并 2 个数据框。

I have two dataframes with same column names
a.show()
+-----+----------+--------+
| name|      date|duration|
+-----+----------+--------+
|  bob|2015-01-13|       4|
|alice|2015-04-23|      10|
+-----+----------+--------+
b.show()
+------+----------+--------+
|  name|      date|duration|
+------+----------+--------+
|   bob|2015-01-12|       3|
|alice2|2015-04-13|      10|
+------+----------+--------+

我正在尝试做的是通过应用两个条件合并 2 个数据帧以仅显示唯一行1.对于同名持续时间将是持续时间的总和。2.对于同名，最终日期为最新日期。

  
Final output will be 
final.show()
+-------+----------+--------+
| name  |      date|duration|
+-----  +----------+--------+
|  bob  |2015-01-13|       7|
|alice  |2015-04-23|      10|
|alice2 |2015-04-13|      10|
+-------+----------+--------+
I followed the following method.
//Take union of 2 dataframe
val df =a.unionAll(b)
//group and take sum
val grouped =df.groupBy("name").agg($"name",sum("duration"))
//join
val j=df.join(grouped,"name").drop("duration").withColumnRenamed("sum(duration)", "duration")
and I got 
+------+----------+--------+
|  name|      date|duration|
+------+----------+--------+
|   bob|2015-01-13|       7|
| alice|2015-04-23|      10|
|   bob|2015-01-12|       7|
|alice2|2015-04-23|      10|
+------+----------+--------+

我现在如何通过比较日期来删除重复项。 是否可以通过在将其注册为表后运行 sql 查询来实现。 我是SparkSQL的初学者，我觉得我解决这个问题的方式很奇怪。有没有更好的方法来进行这种数据处理。

Answer 1

你可以在groupBy()中做max(date)。无需join df grouped。

// In 1.3.x, in order for the grouping column "name" to show up,
val grouped = df.groupBy("name").agg($"name",sum("duration"), max("date"))
// In 1.4+, grouping column "name" is included automatically.
val grouped = df.groupBy("name").agg(sum("duration"), max("date"))