如何使用相同的spark上下文并行运行多个spark作业

Question

是否有一种方法可以在不同的线程中使用相同的spark上下文并行运行多个spark作业?

我尝试使用Vertx 3，但看起来每个作业都在排队并顺序启动。

如何使它与相同的spark上下文同时运行?

下面是我的示例代码:

 vertx.executeBlocking(future -> {
        DataFrame dataframe = sqlContext.sql(sql);
        Row[] result = dataframe.collect();
        System.out.println("Query result for " + sql);
        LOG.info("Query result for " + sql);
        if (result == null) {               
            LOG.info("No result!");
        } else {
            for (Row row : result) {                    
                LOG.info(":::" + row.toString());
            }
        }           
        future.complete(true);
    }, res -> {
        if (res.succeeded()){
            LOG.info("Query finished");
        }else{
            LOG.info("Query failed " + res.cause().getMessage());
            res.cause().printStackTrace();              
        }
    });

Answer 1

如何使用AsyncRDDActions?我刚刚测试和运行两个collectAsync确实并行运行。