在列表[列]斯卡拉中显示列名

Question

我想将列列表从datframe插入到列表 [列] 中，以便我可以执行选择请求。 这意味着想要获取列列表并将其自动插入列表[列] 任何帮助谢谢

object PCA extends App{
     val spark = SparkSession.builder.master("local").appName("my-spark-app").getOrCreate()
     val strPath="C:/Users/mhattabi/Desktop/testBis2.txt"
     val intial_Data=spark.read.option("header",true).csv(strPath)
     //array string contains names of column
     val arrayList=intial_Data.columns
     var colsList = List[Column]()
     //wanna insert name of column into the listColum
     arrayList.foreach(p=>colsList.)
     //i want to have something like
     //val colsList = List(col("col1"),col("col2"))
     //intial_Data.select(colsList:_*).show
}

Answer 1

你可以按如下方式使用 col 函数：

var colsList = List[Column]()
arrayList.columns.foreach { c =>  colsList:+=col(c)}

请记住导入 sql 函数以使用 col：

import org.apache.spark.sql.functions._

Answer 2

我宁愿使用不可变列表，而不是通过如下所示的转换来使用变量列表。

val arrayList = initial_Data.columns
val colsList = arrayList.map(col)