我在通过eclipse使用Spark SQL程序时面对以下问题。
代码行
import org.apache.spark.sql.{Row, SparkSession}
给出:
object sql不是package org.apache.spark
的成员
SBT文件详细信息
name := "SparkXXSql"
version := "1.0"
scalaVersion := "2.11.8"
libraryDependencies += "org.apache.spark" %% "spark-core_2.11" % "2.0.0" % "provided"
libraryDependencies += "org.apache.spark" %% "spark-sql_2.11" % "2.0.0" % "provided"
resolvers += Resolver.mavenLocal
如果不是错别字,那么这是因为您的依赖项实际上无法解决。当您添加%%时,Scala版本会自动附加到模块上,因此您确实可以解决Spark-core_2.11_2.11和Spark-SQL_2.11_2.11。尝试删除%%或显式_2.11并重新加载依赖项。