在spark-shell中，当我调用Line2时，我没有遇到这个问题（Line1）。
Line1: not found: value spark_partition_id
Line2: val countPerCustomPartition = businessesDataFrameCustomPartition.groupBy(spark_partition_id).count
然后当我打电话给spark-submit时，我得到了这个问题。我以前从未在StackOverflow上看到过这个，它最终是一个简单但不明显的修复。
- 斯卡拉 2.11.8
- 火花 2.3.2
将这一行添加到 Scala 类的顶部：
import org.apache.spark.sql.functions.spark_partition_id