我想在 SBT 项目中做 Spark 教程，我需要安装哪些库

Question

我想做Apache Spark快速入门教程。我想为每个示例使用 IntelliJ 中的 Scala 工作表。

我需要

向我的 SBT 配置添加什么才能完成这项工作？目前，我有：

libraryDependencies += "org.apache.spark" %% "spark-sql" % "2.4.0"

但这还不足以让一切正常。我还需要安装什么才能使一切正常工作？

Answer 1

尝试这些：

libraryDependencies += "org.apache.spark" % "spark-core_2.12" % "2.4.0"
libraryDependencies += "org.apache.spark" % "spark-sql_2.12" % "2.4.0"
libraryDependencies += "org.apache.spark" % "spark-mllib_2.12" % "2.4.0"