Apache Spark："failed to launch org.apache.spark.deploy.worker.Worker" 或 Master

我在Openstack上创建了一个Spark集群，运行在Ubuntu14.04上，具有8GB的内存。我创建了两个虚拟机，每个虚拟机 3gb(为父操作系统保留 2 GB(。此外，我从第一个虚拟机创建一个主节点和 2 个工作线程，从第二个机器创建 3 个工作线程。

spark-env.sh 文件具有基本设置

export SPARK_MASTER_IP=10.0.0.30
export SPARK_WORKER_INSTANCES=2
export SPARK_WORKER_MEMORY=1g
export SPARK_WORKER_CORES=1

每当我使用 start-all.sh 部署集群时，我都会收到"无法启动 org.apache.spark.deploy.worker.Worker"，有时"无法启动 org.apache.spark.deploy.master.Master"。当我看到日志文件查找错误时，我得到以下内容

Spark Command：/usr/lib/jvm/java-7-openjdk-amd64/bin/java -cp>/home/ubuntu/spark-1.5.1/sbin/../conf/：/home/ubuntu/spark->1.5.1/assembly/target/scala-2.10/spark-assembly-1.5.1->hadoop2.2.0.jar：/home/ubuntu/spark-1.5.1/lib_managed/jars/datanucleus-api->jdo-3.2.6.jar：/home/ubuntu/spark-1.5.1/lib_managed/jars/datanucleus-core->3.2.10.jar：/home/ubuntu/spark-1.5.1/lib_managed/jars/datanucleus-rdbms->3.2.9.jar -Xms1g -Xmx1g -XX：MaxPermSize=256m>org.apache.spark.deploy.master.Master --ip 10.0.0.30 --port 7077 --webui->port 8080

虽然我收到失败消息，但主节点或工作线程在几秒钟后变为活动状态。

有人可以解释一下原因吗？

Spark 配置系统是一堆环境变量、参数标志和 Java 属性文件。我只是花了几个小时来追踪相同的警告，并解开了Spark初始化过程，这是我发现的：

sbin/start-all.sh调用sbin/start-master.sh(然后sbin/start-slaves.sh(
sbin/start-master.sh呼叫sbin/spark-daemon.sh start org.apache.spark.deploy.master.Master ...
sbin/spark-daemon.sh start ... 分叉对 bin/spark-class org.apache.spark.deploy.master.Master ... 的调用，捕获生成的进程 ID (pid(，休眠 2 秒钟，然后检查该 pid 的命令名称是否为"java">
bin/spark-class是一个 bash 脚本，因此它以命令名称"bash"开头，然后继续：
1. 通过获取bin/load-spark-env.sh(重新(加载 Spark 环境
2. 查找可执行文件java
3. 找到合适的火花罐
4. 调用 java ... org.apache.spark.launcher.Main ... 以获取 Spark 部署所需的完整类路径
5. 然后最后通过exec将控制权移交给java ... org.apache.spark.deploy.master.Master，此时命令名称变为"java">

如果步骤 4.1 到 4.5 花费的时间超过 2 秒，根据我(和您(的经验，这在以前从未运行过java的新操作系统上似乎是不可避免的，您将收到"无法启动"消息，尽管实际上没有任何失败。

奴隶会出于同样的原因抱怨，并四处奔波，直到主站真正可用，但他们应该继续重试，直到成功连接到主站。

我在 EC2 上运行了一个非常标准的 Spark 部署;我使用：

conf/spark-defaults.conf设置spark.executor.memory并通过spark.{driver,executor}.extraClassPath添加一些自定义 jar
conf/spark-env.sh设置SPARK_WORKER_CORES=$(($(nproc) * 2))
conf/slaves列出我的奴隶

以下是我如何开始Spark部署，绕过一些{bin,sbin}/*.sh雷区/迷宫：

# on master, with SPARK_HOME and conf/slaves set appropriately
mapfile -t ARGS < <(java -cp $SPARK_HOME/lib/spark-assembly-1.6.1-hadoop2.6.0.jar org.apache.spark.launcher.Main org.apache.spark.deploy.master.Master | tr '' 'n')
# $ARGS now contains the full call to start the master, which I daemonize with nohup
SPARK_PUBLIC_DNS=0.0.0.0 nohup "${ARGS[@]}" >> $SPARK_HOME/master.log 2>&1 < /dev/null &

我仍在使用 sbin/start-daemon.sh 来启动从属服务器，因为这比在 ssh 命令中调用 nohup 更容易：

MASTER=spark://$(hostname -i):7077
while read -r; do
  ssh -o StrictHostKeyChecking=no $REPLY "$SPARK_HOME/sbin/spark-daemon.sh start org.apache.spark.deploy.worker.Worker 1 $MASTER" &
done <$SPARK_HOME/conf/slaves
# this forks the ssh calls, so wait for them to exit before you logout

那里！它假设我正在使用所有默认端口和东西，并且我没有做愚蠢的事情，比如在文件名中放置空格，但我认为这样更干净。

我有同样的问题，在主节点上运行 spark/sbin/start-slave.sh。

hadoop@master:/opt/spark$ sudo ./sbin/start-slave.sh --master spark://master:7077
starting org.apache.spark.deploy.worker.Worker, logging to /opt/spark/logs/spark-root-org.apache.spark.deploy.worker.Worker-1-master.out
failed to launch: nice -n 0 /opt/spark/bin/spark-class org.apache.spark.deploy.worker.Worker --webui-port 8081 --master spark://master:7077
  Options:
    -c CORES, --cores CORES  Number of cores to use
    -m MEM, --memory MEM     Amount of memory to use (e.g. 1000M, 2G)
    -d DIR, --work-dir DIR   Directory to run apps in (default: SPARK_HOME/work)
    -i HOST, --ip IP         Hostname to listen on (deprecated, please use --host or -h)
    -h HOST, --host HOST     Hostname to listen on
    -p PORT, --port PORT     Port to listen on (default: random)
    --webui-port PORT        Port for web UI (default: 8081)
    --properties-file FILE   Path to a custom Spark properties file.
                             Default is conf/spark-defaults.conf.
full log in /opt/spark/logs/spark-root-org.apache.spark.deploy.worker.Worker-1-master.out

我

发现了我的错误，我不应该使用 --master 关键字而只是运行命令

hadoop@master:/opt/spark$ sudo ./sbin/start-slave.sh spark://master:7077

按照本教程的步骤操作：https://phoenixnap.com/kb/install-spark-on-ubuntu

提示：请确保在以下之前安装所有依赖项：

sudo apt install scala git -y

我使用以下命令：

启动母版/opt/spark/bin/spark-class org.apache.spark.deploy.master.master --ip spark-master --port 7077 --webui-port 8080

启动辅助角色/opt/spark/bin/spark-class org.apache.spark.deploy.worker.Worker spark://spark-master:7077 --port 7000 --webui-port 8081

相关内容

最新更新

热门标签：