Spark-通过争论从Java呼叫Spark Jar

Question

我想从java打电话给spark jar（在纱线上运行火花过程），然后尝试使用此链接代码。

在我的情况下，它看起来很合适，但是我需要将哈希图和一些Java值传递给Spakr Jar。它可以通过爪哇对象引发罐子吗？

，Java侧是否能够知道Mush Spark Jar过程是如何进行的？如果是这样，如何？

Answer 1

我认为您误解了数据算法中给出的内容

有两种提交工作的方法

1）Spark-Submit，如Shell Script

的下面的示例

cat run_secondarysorting.sh
#!/bin/bash
export JAVA_HOME=/usr/java/jdk7
export SPARK_HOME=/home/hadoop/spark-1.1.0
export SPARK_MASTER=spark://myserver100:7077
BOOK_HOME=/home/mp/data-algorithms-book
APP_JAR=$BOOK_HOME/dist/data_algorithms_book.jar
INPUT=/home/hadoop/testspark/timeseries.txt
# Run on a Spark standalone cluster
prog=org.dataalgorithms.chap01.spark.SparkSecondarySort
$SPARK_HOME/bin/spark-submit 
--class $prog 
--master $SPARK_MASTER 
--executor-memory 2G 
--total-executor-cores 20 
$APP_JAR

2）来自链接中描述的纱线客户端。

纱线客户的使用是

想从Java代码提交Spark Jobs（例如Java Servlet或 其他Java代码，例如REST服务器）。

当您调用此纱线客户端时...然后您需要在休息服务或servlet等中称为方法...（即通过Web），您也可以通过该参数（例如hashmap或任何java对象类型...

出于演示目的

希望您理解..