我有一个 pyspark 数据帧,我必须按升序连接两列,并仅从中获取最高值



>''' 对于EG:

我的 Spark 数据帧或表

A       B
|--------|----------|
|    B   |     c    |
|    K   |     G    |
|    g   |     A    |
| None   |   None   |
| -------|----------|

预期成果

AB
|--------|
|    B   | 
|    G   |
|    A   |
| None   | 
|--------|

如何做 将两者作为数组排序并获取第一个值。(我很新(

提前致谢

'''

直接比较字符

import org.apache.spark.sql.functions._
object CompareCol {
def main(args: Array[String]): Unit = {
val spark = Constant.getSparkSess
import spark.implicits._
val df = List(("B", "c"), ("K", "G"), ("g", "A"), (null, null)).toDF("A", "B")

df
.withColumn("arrayCol", array_min(array(col("A"), col("B"))))
.show()
}
}

最新更新