spark SQL基于日期列上的一行生成多行

Question

我们有一个表:列像——

EmpUser   UserDate Empname .....
User123   20220730 Rajesh      (30 rows for July)
3434Use   20220625 Gopi ....   (25 rows for June)

根据Userdate列，我们必须为各自的月份生成多行

我们如何让create spark sql并行运行来更快地处理(因为我们有9亿条记录)

Answer 1

假设您正在使用Databricks，他们正在并行化和优化您的查询(使用Photon/Tungsten+Catalyst)

当然，你可以改善你的查询本身，但并行为你做火花(它本质上是火花面包& &;黄油)。