Spark Kotlin-创建空数据集



我和Kotlin一起玩Spark:https://blog.jetbrains.com/kotlin/2020/08/introducing-kotlin-for-apache-spark-preview/

我正试图基于一个数据类创建一个空的数据集:

data class Company(val ticker:String)
val ds:Dataset<Company> = spark.createDataset() // <- don't know what to put in the brackets

我自己发现的:

val emptyList:List<Company> = emptyList()
var ds = emptyList.toDS(spark)

一种更简单的方法是:

withSpark {
val ds = dsOf<Company>()
}

或者,版本1.2.0将引入什么:

withSpark {
val ds = emptyDataset<Company>()
}

最新更新