Apache Spark - 从数据帧中的行中选择一些未修改的字段

Question

我有

org.apache.spark.sql.DataFrame = [ts: string, name: string, value: string ]

我正在努力做

val result = df.map {case Row(ts, name, value) => (name+":"+value+"-ctag", ts)}

基本上，结果中的第二个字段是未修改的。但是我收到此错误：

java.lang.ClassNotFoundException: scala.Any
  at scala.reflect.internal.util.AbstractFileClassLoader.findClass(AbstractFileClassLoader.scala:62)
  at java.lang.ClassLoader.loadClass(ClassLoader.java:424)
  at java.lang.ClassLoader.loadClass(ClassLoader.java:357)
  at java.lang.Class.forName0(Native Method)
  at java.lang.Class.forName(Class.java:348)
  at scala.reflect.runtime.JavaMirrors$JavaMirror.javaClass(JavaMirrors.scala:555)
  at scala.reflect.runtime.JavaMirrors$JavaMirror$$anonfun$classToJava$1.apply(JavaMirrors.scala:1211)
  at scala.reflect.runtime.JavaMirrors$JavaMirror$$anonfun$classToJava$1.apply(JavaMirrors.scala:1203)
  at scala.reflect.runtime.TwoWayCaches$TwoWayCache$$anonfun$toJava$1.apply(TwoWayCaches.scala:49)

如果我不按原样选择第二个字段，而是应用如下所示的一些转换

val result = df.map {case Row(ts, name, value) => (name+":"+value+"-ctag", ts+"test")}

它可以毫无问题地工作。

你能解释一下这个错误在说什么吗？我想在某些领域而不是在其他一些领域应用转换。

Answer 1

如果你对Row进行模式匹配，你所有的变量都是Any类型。如果将Any与 String 连接起来，则结果是String（第二个示例中就是这种情况）。

试试这个：

val result = df.map {case Row(ts:String, name:String, value:String) => (name+":"+value+"-ctag", ts)}