对多个作业使用相同的 JavaSparkContext，以防止在 Spark 驱动程序初始化时使用时间

Question

我正在尝试在Google Dataproc上运行Spark作业。但是，正如通常看到的那样，Spark 驱动程序的初始化占用了很大一部分执行时间。我想知道使用同一 JavaSparkContext 实例在 Google Dataproc 上运行多个 Spark 作业的好方法是什么，这样我就不会因为 Spark 驱动程序初始化而失去每个作业的性能。目前，我的代码看起来像这样：

public static void main(String[] args) {
    SparkConf configuration = new SparkConf().setAppName("App");
    final JavaSparkContext context = new JavaSparkContext(configuration);
    // Do stuff
    // Stop connection to Java Spark
    context.stop();
}

Answer 1

> Dataproc目前基于YARN进行资源分配，因为这允许我们为基于Hadoop的作业（Hive，Pig，Hadoop MR）和Spark作业提供单一接口。这样做的缺点是，当你启动一个新的（Java）SparkContext时，分配Spark AppMaster和worker的开销。我不认为 Dataproc 为您提供内置答案，我认为任何易于完成的解决方案都意味着您将不再使用 Dataproc Jobs API 提交单个作业。

虽然 Dataproc 本身目前无法通过作业 API 提供低延迟的 Spark 作业，但您可以运行 Dataproc 集群并将 Spark 作业服务器指向 Dataproc 集群。您可以在 github 上找到有关作业服务器的更多信息，https://github.com/spark-jobserver/spark-jobserver。使用作业服务器时，应该能够创建 Spark 上下文，然后在以后的作业中重用该上下文。您还需要确保将作业服务器配置为在 yarn-client 模式下运行。这意味着您创建的每个情景仍将产生 YARN 分配的启动成本，但每个情景只会产生一次。

如果您的 REST 服务器在无法进行任意网络调用的环境中运行（例如 AppEngine），您可能需要调查一个系统，该系统将消息发布到 cloud pubsub，然后在 GCE 中运行一个组件，该组件订阅消息，然后代表您的 AppEngine 应用程序将作业提交到 Spark 作业服务器。