Spark中排序和排序函数的区别是什么?

Question

排序和顺序spark DataFrame的区别是什么?

scala> zips.printSchema
root
 |-- _id: string (nullable = true)
 |-- city: string (nullable = true)
 |-- loc: array (nullable = true)
 |    |-- element: double (containsNull = true)
 |-- pop: long (nullable = true)
 |-- state: string (nullable = true)

下面的命令产生相同的结果:

zips.sort(desc("pop")).show
zips.orderBy(desc("pop")).show

Answer 1

OrderBy只是排序函数的别名。

来自Spark文档:

  /**
   * Returns a new Dataset sorted by the given expressions.
   * This is an alias of the `sort` function.
   *
   * @group typedrel
   * @since 2.0.0
   */
  @scala.annotation.varargs
  def orderBy(sortCol: String, sortCols: String*): Dataset[T] = sort(sortCol, sortCols : _*)

Answer 2

是不是的与。

SORT BY子句用于返回在每个分区中按用户指定的顺序排序的结果行。当有多个分区时，SORT BY可能返回部分排序的结果。

参考:https://spark.apache.org/docs/latest/sql-ref-syntax-qry-select-sortby.html

ORDER BY子句用于按照用户指定的顺序以排序的方式返回结果行。与SORT BY子句不同，此子句保证输出中的总顺序。

参考:https://spark.apache.org/docs/latest/sql-ref-syntax-qry-select-orderby.html

Answer 3

sort()函数按文件系统上的给定列对每个bucket中的输出进行排序。它不能保证输出数据的顺序。而orderBy()是两相的。

首先在每个bucket中使用sortBy()，然后根据指定的列以升序或降序将整个数据带入单个执行器中。它涉及高洗牌，是一个昂贵的操作。但是

sort()操作发生在每个单独的桶内，是轻量级操作。

下面是一个例子:

准备数据

>>> listOfTuples = [(16,5000),(10,3000),(13,2600),(19,1800),(11,4000),(17,3100),(14,2500),(20,2000)]
>>> tupleRDD = sc.parallelize(listOfTuples,2)
>>> tupleDF = tupleRDD.toDF(["Id","Salary"])

数据如下:

>>> tupleRDD.glom().collect()
[[(16, 5000), (10, 3000), (13, 2600), (19, 1800)], [(11, 4000), (17, 3100), (14, 2500), (20, 2000)]]
>>> tupleDF.show()
+---+------+
| Id|Salary|
+---+------+
| 16|  5000|
| 10|  3000|
| 13|  2600|
| 19|  1800|
| 11|  4000|
| 17|  3100|
| 14|  2500|
| 20|  2000|
+---+------+

现在排序操作将是

>>> tupleDF.sort("id").show()
+---+------+
| Id|Salary|
+---+------+
| 10|  3000|
| 11|  4000|
| 13|  2600|
| 14|  2500|
| 16|  5000|
| 17|  3100|
| 19|  1800|
| 20|  2000|
+---+------+

看，顺序和预期的不一样。现在，如果我们看到orederBy操作:

>>> tupleDF.orderBy("id").show()
+---+------+
| Id|Salary|
+---+------+
| 10|  3000|
| 11|  4000|
| 13|  2600|
| 14|  2500|
| 16|  5000|
| 17|  3100|
| 19|  1800|
| 20|  2000|
+---+------+

维护数据的整体顺序