在 Scala/Spark 中添加两个数据帧整数值

Question

所以我对Scala和Spark都是新手，所以这可能是一个愚蠢的问题......我有以下代码：

val sqlContext = new org.apache.spark.sql.SQLContext(sc)
import sqlContext.implicits._
val df = sc.parallelize(List(1,2,3)).toDF();
df.foreach( value => println( value(0) + value(0) ) );
error: type mismatch;
 found   : Any
 required: String

它有什么问题？如何判断"这是一个整数而不是任何"？我尝试了 value（0）.toInt，但"value toInt 不是 Any 的成员"。我尝试了List（1：整数，2：整数，3：整数），但之后我无法转换为数据帧...

Answer 1

Spark

Row是一个非类型化容器。如果要提取除Any以外的任何内容，则必须对Row使用类型化提取器方法或模式匹配（请参阅 Spark 从行中提取值）：

df.rdd.map(value => value.getInt(0) + value.getInt(0)).collect.foreach(println)

在实践中，应该有理由提取这些值。相反，您可以直接在DataFrame上进行操作：

df.select($"_1" + $"_1")