变换火花数据集 - 计数并通过ID合并多行

Question

经过一些数据处理后，我最终得到了此数据集：

Dataset<Row> counts //ID,COUNT,DAY_OF_WEEK

现在我想将其转换为这种格式，并保存为CSV：

ID,COUNT_DoW1, ID,COUNT_DoW2, ID,COUNT_DoW3,..ID,COUNT_DoW7

我可以想到一种方法：

JavaPairRDD<Long, Map<Integer, Integer>> r = counts.toJavaRDD().mapToPair(...)
JavaPairRDD<Long, Map<Integer, Integer>> merged = r.reduceByKey(...);

其中一对" ID"和尺寸7的列表。获得Javapairrdd后，我可以将其存储在CSV中。对于此转换而没有将其转换为RDD？

Answer 1

您可以使用struct函数从CNT和DAY构造一对，然后与collect_list进行组。这样的东西（Scala，但您可以轻松转换为Java）：

df.groupBy("ID").agg(collect_list(struct("COUNT","DAY")))

现在您可以编写一个提取相关列的UDF。因此，您只需在循环中使用column做一个即可复制ID（df.withcolumn（" id2"，col（" id"）））

）

然后创建一个UDF，该UDF从位置i提取计数元素并在所有列上运行，最后是相同的。

如果您保留想要的订单并放下无关紧要的列，则会得到您要的东西。

您也可以使用枢轴命令（再次在Scala中，但您应该可以轻松地转换为Java）：

df.show()
>>+---+---+---+
>>| id|cnt|day|
>>+---+---+---+
>>|333| 31|  1|
>>|333| 32|  2|
>>|333|133|  3|
>>|333| 34|  4|
>>|333| 35|  5|
>>|333| 36|  6|
>>|333| 37|  7|
>>|222| 41|  4|
>>|111| 11|  1|
>>|111| 22|  2|
>>|111| 33|  3|
>>|111| 44|  4|
>>|111| 55|  5|
>>|111| 66|  6|
>>|111| 77|  7|
>>|222| 21|  1|
>>+---+---+---+
val df2 =  df.withColumn("all",struct('id, 'cnt' 'day))
val res = .groupBy("id").pivot("day").agg(first('all).as("bla")).select("1.*","2.*","3.*", "4.*", "5.*", "6.*", "7.*")
res.show()
>>+---+---+---+----+----+----+----+----+----+---+---+---+----+----+----+----+----+----+----+----+----+
>>| id|cnt|day|  id| cnt| day|  id| cnt| day| id|cnt|day|  id| cnt| day|  id| cnt| day|  id| cnt| day|
>>+---+---+---+----+----+----+----+----+----+---+---+---+----+----+----+----+----+----+----+----+----+
>>|333| 31|  1| 333|  32|   2| 333| 133|   3|333| 34|  4| 333|  35|   5| 333|  36|   6| 333|  37|   7|
>>|222| 21|  1|null|null|null|null|null|null|222| 41|  4|null|null|null|null|null|null|null|null|null|
>>|111| 11|  1| 111|  22|   2| 111|  33|   3|111| 44|  4| 111|  55|   5| 111|  66|   6| 111|  77|   7|
>>+---+---+---+----+----+----+----+----+----+---+---+---+----+----+----+----+----+----+----+----+----+