使用IntelliJ读取本地.csv到spark scala 2.12.12

Question

我试图使用IntelliJ将逗号分隔的.csv文件导入2.12.12版本的Scala项目。我没有成功导入这个文件。该文件有100万行和5列。除了导入和读取文件之外，我还必须在数据中按月查找总数。

I have try:

val df = spark.read.option("header", true).csv("C:UserstrialrunDesktopDataExtract.csv")

Spark抛出错误:not found: value df

我也试过了，得到了同样的错误:

df = spark.read.csv("file:///C:\UserstrialrunDesktopDataExtract.csv").show()

我的build.sbt是成功的，我已经在IntelliJ中创建了一个对象来尝试从我的桌面读取我的csv文件，但是，我需要正确的依赖项导入和正确的逻辑来帮助IntelliJ从我的桌面读取带有头的.csv文件。

Answer 1

我能够找出我的问题。我创建了另一个spark scala项目，使用了2.11.11版本，spark-core和spark-sql的依赖项为2.1.0。刷新.sbt后，所有正确的依赖项都被添加，所有错误都消失了。我可以加载csv文件了。