为什么在设置火花上下文时出现此错误

Question

我正在尝试如下设置spark上下文。

import org.apache.spark.SparkConf;
public class Main {
public static void main(String []args){
SparkConf conf = new SparkConf();
SparkConf sparkConf = conf.setAppName("test");
}
}

但是，intelliJ在SparkConf sparkConf = conf.setAppName("test");行中抛出错误，指示我不能access the scala.Clonable。

我正确地制作了gradle文档，因此我需要的所有库都已下载到我的存储库中，如下所示。

apply plugin: 'scala'
buildscript {
repositories {
mavenCentral()
}
}
repositories {
mavenLocal()
mavenCentral()
}
dependencies{
compile "org.apache.spark:spark-core_2.10:1.6.1"
}

我期待着你的答复。

谢谢。

Answer 1

在我看来，您使用的scala版本不对。

尝试将scala库显式添加到依赖项

dependencies {
compile 'org.scala-lang:scala-library:2.10.5'
}

这应该触发使用正确的scala编译器