通常在Scala中,如果您在序列上调用toDS()
,则得到:
error: value toDS is not a member of Seq[Int]
但是,在火花中,您可以在SEQ上调用相同的方法并创建数据集。
这种元编程如何实际发生?
它来自 SparkSession.implicits
:
import org.apache.spark.sql.SparkSession
val spark = SparkSession.builder.getOrCreate()
import spark.implicits._