如果输入中有100多列,如何使用Scala在Spark中创建模式



对于case类,我们有一些限制。。。对于StructType,可以针对100+列,有没有其他方法可以为大约600+列创建方案。

val columns = (1 to 600).map(i => s"Column_$i").map(cname => StructField(cname, StringType))
val schemaWithSixHundredsColumns = StructType(columns)
val df = spark.createDataFrame(new java.util.ArrayList[Row](), schemaWithSixHundredsColumns)

最新更新