可以启动apache Spark节点的嵌入式实例

Question

我想启动一个独立的Apache Spark集群嵌入到我的java应用程序的实例。我试图在他们的网站上找到一些文档，但还没有看。

这可能吗?

Answer 1

你可以在本地模式下创建SparkContext，你只需要将"local"作为spark主url提供给SparkConf

val sparkConf = new SparkConf().
  setMaster("local[2]").
  setAppName("MySparkApp")
val sc = new SparkContext(sparkConf)

Answer 2

可以——你可以在一个"本地"主机中嵌入Spark。

SparkConf sparkConf = new SparkConf();//Create new spark config
sparkConf.setMaster("local[8]"); // local, using 8 cores (you can vary the number)
sparkConf.setAppName("MyApp");
SparkContext sc = new SparkContext(sparkConf);

Answer 3

其他人回答了这个问题，但对于2020年的Apache Spark 3.0版本:

Java例子:

SparkSession spark = SparkSession.builder().appName("Your app name").master("local[*]").getOrCreate();

master("local[*]")表示在具有所有可用CPU内核的独立模式下运行。

Maven依赖关系:

    <dependency>
      <groupId>org.apache.spark</groupId>
      <artifactId>spark-sql_2.12</artifactId>
      <version>3.0.1</version>
      <scope>provided</scope>
    </dependency>
    
    <dependency>
      <groupId>org.apache.spark</groupId>
      <artifactId>spark-core_2.12</artifactId>
      <version>3.0.1</version>
    </dependency>