SparkPi程序一直在Yarn/Spark/Google计算引擎下运行

Question

在Google计算引擎上部署了一个Hadoop（Yarn+Spark）集群，其中有一个master&两个奴隶。当我运行以下shell脚本时：

spark-submit--class org.apache.spark.examples.SparkPi--主纱簇--num执行器1--驱动程序内存1g--执行器内存1g——执行器内核1/home/hadop/spark-install/lib/spark-example-1.1.0-hadoop2.4.0.jar 10

作业只是继续运行&每秒钟我都会收到一条类似的消息：

---

15/02/06 22:47:12 INFO yarn.Client: Application report from ResourceManager:
         application identifier: application_1423247324488_0008<br>
         appId: 8<br>
         clientToAMToken: null<br>
         appDiagnostics:<br>
         appMasterHost: hadoop-w-zrem.c.myapp.internal<br>
         appQueue: default<br>
         appMasterRpcPort: 0<br>
         appStartTime: 1423261517468<br>
         yarnAppState: RUNNING<br>
         distributedFinalState: UNDEFINED<br>
         appTrackingUrl: http://hadoop-m-xxxx:8088/proxy/application_1423247324488_0008/<br>
         appUser: achitre

Answer 1

使用--master yarn-client 而不是--master yarn-cluster

Answer 2

在我的脚本中添加以下行后，它就工作了：

导出SPARK_JAVA_OPTS="-Dspark.syar.executor.memoryOverhead=1024-Dspark.local.dir=/tmp-Dspark.exexecutor.memory=1024"

我想，在指定内存时，我们不应该使用'm'、'g'等；否则我们得到NumberFormatException。