将自动反向报价应用于数组[列] Spark



你好,我有一个数组[列]列包含的名称为"。我知道使用backquotes``解决"拥有"的问题。

val df = spark.read.option("header",true).option("inferSchema","false").csv("C:/data.csv")
val columToKeep = df.columns.map(c => stddev(c).as(c))
val new_Data= df.select(columToKeep:_*)//issue here because name contains "."

  Row.Number,Poids,Age,Taille,0M.I,Hmean,Cooc.Param,Ldp.Param,Test.2,Classe.2
0,87,72,160,5,0.6993,2.9421,2.3745,3,4
1,54,70,163,5,0.6301,2.7273,2.2205,3,4
2,72,51,164,5,0.6551,2.9834,2.3993,3,4
3,75,74,170,5,0.6966,2.9654,2.3699,3,4
 column with constant variable 
 expected output
 OM.I,Test.2,Classe.2
5,3,4
5,3,4
5,3,4
5,3,4

谢谢

这将执行技巧

val columToKeep = df.columns.map(c => stddev(c).as(c)).map(x => s"`${x}`")
val new_Data= df.select(columToKeep.head, columToKeep.tail:_*)

不过,我没有得到

的目的

stddev

相关内容

  • 没有找到相关文章

最新更新