我和Kotlin一起玩Spark:https://blog.jetbrains.com/kotlin/2020/08/introducing-kotlin-for-apache-spark-preview/
我正试图基于一个数据类创建一个空的数据集:
data class Company(val ticker:String)
val ds:Dataset<Company> = spark.createDataset() // <- don't know what to put in the brackets
我自己发现的:
val emptyList:List<Company> = emptyList()
var ds = emptyList.toDS(spark)
一种更简单的方法是:
withSpark {
val ds = dsOf<Company>()
}
或者,版本1.2.0将引入什么:
withSpark {
val ds = emptyDataset<Company>()
}