Scala:将参数数组扩展到列表中会产生错误



我正在尝试将参数列表传递给函数。

scala> val a = Array("col1", "col2")
a: Array[String] = Array(col1, col2)

我正在尝试使用:_*符号,但它不起作用:而且我一生都无法弄清楚为什么!

val edges = all_edges.select(a:_*)
<console>:27: error: overloaded method value select with alternatives:
(col: String,cols: String*)org.apache.spark.sql.DataFrame <and>
(cols: org.apache.spark.sql.Column*)org.apache.spark.sql.DataFrame
cannot be applied to (String)

但是,这确实有效: val edges = all_edges.select("col1", "col2")

不确定它是否相关,但all_edges是一个火花数据帧,我试图通过在列表中指定列来仅保留列。

 scala> all_edges
 res4: org.apache.spark.sql.DataFrame

有什么想法吗?我一直在尝试从 eg 中找出语法。将List的元素作为参数传递给具有变量参数的函数,但似乎并没有走得太远

编辑:刚刚找到如何在 Spark 的数据帧中"负选择"列 - 但我对为什么语法twocol.select(selectedCols.head, selectedCols.tail: _*)是必要的感到困惑?

如果要

传递字符串,函数的签名指示必须至少传递一个:

(col: String,cols: String*)org.apache.spark.sql.DataFrame

所以你必须挑出列表的第一个参数:Spark不能单独从Traversable的类型来确定它不为空。

val edges = all_edges.select(a.head, a.tail: _*)

现在,这是它的肮脏版本。如果你想严格地做到这一点,你应该自己检查列表是否为空:

val edges = a.headOption.map( (fst) => all_edges.select(fst, a.drop(1))

最新更新