我在运行 Spark hello world 程序时收到以下错误。
[info] 正在更新 {file：/C：/Users/user1/IdeaProjects/sqlServer/}sqlserver... [信息]解析 org.apache.spark#spark-core_2.12;2.1.1 ... [警告] 未找到模块：org.apache.spark#Spark-core_2.12;2.1.1 [警告] ==== 本地：已尝试 [警告] C：\Users\user1\.ivy2\local\org.apache.spark\spark-core_2.12\2.1.1\ivys\ivy.xml [警告] ==== 公众：已尝试 [警告] https://repo1.maven.org/maven2/org/apache/spark/spark-core_2.12/2.1.1/spark-core_2.12-2.1.1.pom [警告] ==== 本地预加载常春藤：已尝试 [警告] C：\Users\user1\.sbt\preloaded\org.apache.spark\spark-core_2.12\2.1.1\ivys\ivy.xml [警告] ==== 本地预加载：已尝试 [warn] file：/C：/Users/user1/.sbt/preloaded/org/apache/spark/spark-core_2.12/2.1.1/spark-core_2.12-2.1.1.pom [信息]解析 jline#jline;2.14.3 ... [警告] ：：： [警告] ：： 未解析的依赖项 ：： [警告] ：：： [警告] ：： org.apache.spark#spark-core_2.12;2.1.1：未找到 [警告] ：：： [警告] [警告] 注意：未解析的依赖项路径： [warn] org.apache.spark：spark-core_2.12：2.1.1 (C：\Users\user1\IdeaProjects\sqlServer\build.sbt#L7-8) [警告] +- MPA：mpa_2.12：1.0 [追踪]已抑制堆栈跟踪：最后运行 *：更新以获取完整输出。 [错误](*：更新) SBT.ResolveException： unresolve dependency： org.apache.spark#spark-core_2.12;2.1.1：未找到 [错误]总时间： 1 秒， 完成 五月 9， 2017 11：05：44 上午 这是
build.sbt，
name := "Mpa"
version := "1.0"
scalaVersion := "2.11.8"
libraryDependencies += "org.apache.spark" %% "spark-core" % "2.1.1"
我的星火网络消息。
欢迎来到 ____ __ /__/__ ___ _____//__ _\ \/_ \/_ `/__/ '_//___/.__/\_，_/_//_/\_\ 版本 2.1.1/_/使用 Scala 版本 2.11.8(Java HotSpot(TM) 64-bit Server VM，Java 1.8.0_111) 键入表达式以对其进行计算。 键入 ：help 以获取更多信息。
更新：
我将built.sbt更改为
name := "Mpa"
version := "1.0"
scalaVersion := "2.11.8"
libraryDependencies += "org.apache.spark" %% "spark-core_2.11" % "2.1.0"
但还是得到了
[info] 正在更新 {file：/C：/Users/user1/IdeaProjects/sqlServer/}sqlserver... [信息]解析 org.apache.spark#spark-core_2.11_2.11;2.1.0 ... [警告] 未找到模块：org.apache.spark#spark-core_2.11_2.11;2.1.0 [警告] ==== 本地：已尝试 [警告] C：\Users\user1\.ivy2\local\org.apache.spark\spark-core_2.11_2.11\2.1.0\ivys\ivy.xml [警告] ==== 公众：已尝试 [警告] https://repo1.maven.org/maven2/org/apache/spark/spark-core_2.11_2.11/2.1.0/spark-core_2.11_2.11-2.1.0.pom [警告] ==== 本地预加载常春藤：已尝试 [警告] C：\Users\user1\.sbt\preloaded\org.apache.spark\spark-core_2.11_2.11\2.1.0\ivys\ivy.xml [警告] ==== 本地预加载：已尝试 [warn] file：/C：/Users/user1/.sbt/preloaded/org/apache/spark/spark-core_2.11_2.11/2.1.0/spark-core_2.11_2.11-2.1.0.pom [信息]解析 jline#jline;2.12.1 ... [警告] ：：： [警告] ：： 未解析的依赖项 ：： [警告] ：：： [警告] ：： org.apache.spark#spark-core_2.11_2.11;2.1.0：未找到 [警告] ：：： [警告] [警告] 注意：未解析的依赖项路径： [warn] org.apache.spark：spark-core_2.11_2.11：2.1.0 (C：\Users\user1\IdeaProjects\sqlServer\build.sbt#L7-8) [警告] +- MPA：mpa_2.11：1.0 [追踪]已抑制堆栈跟踪：最后运行 *：更新以获取完整输出。 [错误](*：更新) SBT.ResolveException： unresolve dependency： org.apache.spark#spark-core_2.11_2.11;2.1.0：未找到 [错误]总时间： 1 秒， 完成 2017年5月9日 下午1：01：01您在 built.sbt 文件中有错误，您必须将%%更改为%：
name := "Mpa"
version := "1.0"
scalaVersion := "2.11.8"
libraryDependencies += "org.apache.spark" % "spark-core" % "2.1.1"
%%要求 Sbt 将当前的 scala 版本添加到工件中
您可以spark-core_2.11%解决问题。
// https://mvnrepository.com/artifact/org.apache.spark/spark-core_2.11
libraryDependencies += "org.apache.spark" % "spark-core_2.11" % "2.1.0"
希望这有帮助！
我得到了同样的错误。
build.sbt
name := "Simple Project"
version := "1.0"
scalaVersion := "2.12.3"
libraryDependencies += "org.apache.spark" %% "spark-sql" % "2.2.0"
只需将 scalaVersion 更改为 2.11.8 或更低版本即可。它有效。
我遇到了同样的错误，并通过以下步骤解决了它。基本上，文件名与 sbt 配置不匹配。-
在 $SPARK_HOME/jars 中检查火花芯罐的文件名(它是火花-core_2.11-2.1.1.jar)。
- 安装 scala2.11.11。
- 编辑 build.sbt 到scalaVersion ：= ">2.11.11"。
适用于2.11.12 的版本控制对。
scalaVersion := "2.11.12"
libraryDependencies ++= Seq(
"org.apache.spark" %% "spark-core" % "2.3.2",
"org.apache.spark" %% "spark-sql" % "2.3.2"
)
这对我有用。示例构建.sbt
name := "testproj"
version := "0.1"
scalaVersion := "2.11.9"
libraryDependencies += "org.apache.spark" %% "spark-sql" % "2.2.0"
SparkSession在spark-sql库中可用。 您必须将spark-sql依赖项添加到构建中。
libraryDependencies += "org.apache.spark" %% "spark-sql" % "2.2.1"