非常缓慢地编写数据框以在Spark群集上提交

Question

我有一个测试程序，该程序写入数据框中。数据帧是通过添加每行的顺序数字来生成的，例如

1,2,3,4,5,6,7.....11
2,3,4,5,6,7,8.....12
......

数据框架中有100000行，但我认为它不是太大。当我提交SPARK任务时，将数据框写在HDFS上需要近20分钟。我想知道为什么这么慢，以及如何提高性能。

val sc = new SparkContext(conf)
val sqlContext = new org.apache.spark.sql.SQLContext(sc)
val numCol = 11
val arraydataInt = 1 to 100000 toArray
val arraydata = arraydataInt.map(x => x.toDouble)
val slideddata = arraydata.sliding(numCol).toSeq
val rows = arraydata.sliding(numCol).map { x => Row(x: _*) }
val datasetsize = arraydataInt.size
val myrdd = sc.makeRDD(rows.toSeq, arraydata.size - numCol).persist()
val schemaString = "value1 value2 value3 value4 value5 " +
                   "value6 value7 value8 value9 value10 label"
val schema =
StructType(schemaString.split(" ").map(fieldName => StructField(fieldName, DoubleType, true)))
val df = sqlContext.createDataFrame(myrdd, schema).cache()
    val splitsH = df.randomSplit(Array(0.8, 0.1))
val trainsetH = splitsH(0).cache()
val testsetH = splitsH(1).cache()
println("now saving training and test samples into files")
trainsetH.write.save("TrainingSample.parquet")
testsetH.write.save("TestSample.parquet")

Answer 1

turn

val myrdd = sc.makeRDD(rows.toSeq, arraydata.size - numCol).persist()

to

val myrdd = sc.makeRDD(rows.toSeq, 100).persist()

您已经制作了一个带有arraydata.size - numCol分区的RDD，每个分区都会导致一项任务需要额外的运行时间。一般而言，分区的数量是平行性水平与额外成本之间的权衡。尝试100个分区，应该更好。

btw，官方指南建议将此数字设置为群集中的CPU数量的2或3倍。