Spark 从类型化序列创建数据集

Question

类似于这里的 Spark 文档：

http://spark.apache.org/docs/latest/sql-programming-guide.html

case class Person(name: String, age: Long)
val caseClassDS = Seq(Person("Andy", 32)).toDS()
caseClassDS.show()

一系列Seq[org.opengis.feature.simple.SimpleFeature]的错误：

/geomesaSparkFirstSteps/src/main/scala/myOrg/GeoInMemory.scala:162: value toDS is not a member of Seq[org.opengis.feature.simple.SimpleFeature]
[error]   geoResult.toDS() 

有关详细信息，请参阅 https://github.com/geoHeil/geomesaSparkFirstSteps/blob/master/src/main/scala/myOrg/GeoInMemory.scala#L162

如何修复此语句？编码器是否Seq[someObject]

？

Answer 1

Seq和Dataset之间的转换需要存储类的implicitEncoder。

implicit def localSeqToDatasetHolder[T](s: Seq[T])(
implicit arg0: Encoder[T]): DatasetHolder[T] 

包含常见 Scala 类型的产品类型(如案例类)使用SparkSession.implicits提供的隐式Encoders。对于任意类，您必须使用通用的Java或Kryo编码器。请参阅如何在数据集中存储自定义对象？了解详情。