intelliJ 运行火花：无法解析预期的符号和标识符，但找到字符串文字';'但')'找到

Question

每个人，我对通过intelliJ IDEA运行spark有疑问。如果有人能为我提供帮助，我将不胜感激。非常感谢。我在谷歌上搜索了一下，我试过了，但什么都没改变，甚至让结果更糟，所以我只是保持原样。

我已经键入了一些简单的scala代码来测试通过intellijIDEA运行的spark，但出现了一些错误。我的问题在这里：

1.请看图片1&2.有2个错误"不能resolve symbol=="and"值"$"不是StringConext的成员"，详细信息见图片3。

2.如果我用"//"注释错误的代码行，那么代码可以运行，df可以读取和显示，但计算平均值的代码行不起作用。错误显示在图片4&5.

有人能帮我解决这两个问题吗。非常感谢！！！

演示

pom.xml

错误1

错误2

最终结果

这是我的pom.xml代码：

<?xml version="1.0" encoding="UTF-8"?>
<project xmlns="http://maven.apache.org/POM/4.0.0"
xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">
<modelVersion>4.0.0</modelVersion>
<groupId>com.test.demo</groupId>
<artifactId>DemoProject</artifactId>
<version>1.0-SNAPSHOT</version>
<repositories>
<repository>
<id>apache</id>
<url>http://maven.apache.org</url>
</repository>
</repositories>
<dependencies>
<dependency>
<groupId>org.apache.hadoop</groupId>
<artifactId>hadoop-core</artifactId>
<version>1.2.1</version>
</dependency>
<dependency>
<groupId>org.apache.hadoop</groupId>
<artifactId>hadoop-common</artifactId>
<version>2.7.3</version>
</dependency>
</dependencies>
</project>

这是我的scala case对象代码：

import org.apache.spark.sql.SparkSession
import java.io.File
import org.apache.spark
import org.apache.spark.sql.expressions.Window
import org.apache.spark.sql.functions._
object Demo {
def main(args: Array[String]): Unit = {
val spark = SparkSession
.builder()
.master("local[*]")
.appName("Spark SQL basic example")
.getOrCreate()
val peopleDFCsv = spark.read.format("csv")
.option("sep", "t")
.option("header", "false")
.load("C:\Users\shell\OneDrive\Desktop\marks.csv")
peopleDFCsv.printSchema()
peopleDFCsv.show(15)

val df = spark.read.option("inferScheme", "true").option("header", "true").csv("C:\Users\shell\OneDrive\Desktop\marks.csv")
df.show()
df.withColumn("id", monotonically_increasing_id()).show
df.join(df.groupBy("max(marks)"), $"marks" === $"max(marks)", "leftsemi").show
df.join(df.filter("subject = maths").groupBy("max(marks)"). $"marks" === $"max(marks)", "leftsemi").show
df.join(df.filter("subject = maths").select(mean(df("marks")))).show
//    val a = new File("./data").listFiles()
//    a.foreach(file => println(file.getPath))
}
}

Answer 1

所以，联接函数出错的第一个原因是参数错误。在您的第一个联接函数中，groupBy将返回RelationalGroupedDataset，而不是Dataframe。您需要在groupBy函数之后进行聚合。看看我的例子。要在列名中使用$，需要使用import spark.implicits._。此外，您需要import org.apache.spark.sql.functions._来使用标准火花柱功能，请参阅：

import spark.implicits._
import org.apache.spark.sql.functions._
import java.io.File
val df = spark.read.option("inferScheme", "true").option("header", "true").csv("C:\Users\shell\OneDrive\Desktop\marks.csv")
df.show()
//  df.withColumn("id", monotonically_increasing_id()).show
df.join(df.groupBy("column_for_group").agg(max("marks")), $"marks" === max($"marks"), "leftsemi").show
df.join(df.filter("subject = maths").groupBy("column_for_group").agg(max("marks")), $"marks" === max($"marks"), "leftsemi").show
df.join(df.filter("subject = maths").select(mean(df("marks")))).show
val a = new File("./data").listFiles()
a.foreach(file => println(file.getPath))

winutils的错误可以通过设置正确的环境变量来解决。你需要在谷歌上搜索windows 10 how set environment variable之类的东西。最好是在系统中进行，而不是通过程序进行。