Amazon EMR上的Livy Server在连接ResourceManager时挂起

Question

我正在尝试在Amazon EMR上部署Livy服务器。首先，我构建了Livy master分支

mvn clean package -Pscala-2.11 -Pspark-2.0

然后，我将其上传到EMR集群主服务器。我设置了以下配置:

livy-env.sh

SPARK_HOME=/usr/lib/spark
HADOOP_CONF_DIR=/etc/hadoop/conf

livy.conf

livy.spark.master = yarn
livy.spark.deployMode = cluster

当我启动Livy时，它在连接到YARN资源管理器(XX.XX.XXX)时无限期挂起。XX为IP地址)

16/10/28 17:56:23 INFO RMProxy: Connecting to ResourceManager at /XX.XX.XXX.XX:8032

然而，当我netcat端口8032时，它连接成功

nc -zv XX.XX.XXX.XX 8032
Connection to XX.XX.XXX.XX 8032 port [tcp/pro-ed] succeeded!

我想我可能遗漏了一些步骤。有人知道这一步是什么吗?

Answer 1

在解压缩livy-server-0.2.0.zip文件后，我对配置文件做了以下更改

livy-env.sh

export SPARK_HOME=/usr/hdp/current/spark-client
export HADOOP_HOME=/usr/hdp/current/hadoop-client/bin/
export HADOOP_CONF_DIR=/etc/hadoop/conf
export SPARK_CONF_DIR=$SPARK_HOME/conf
export LIVY_LOG_DIR=/jobserver-livy/logs
export LIVY_PID_DIR=/jobserver-livy
export LIVY_MAX_LOG_FILES=10
export HBASE_HOME=/usr/hdp/current/hbase-client/bin

livy.conf

livy.rsc.rpc.server.address=<Loop Back address>

添加的火花。在spark conf文件夹下的"spark-defaults.conf"文件中配置Master yarn-cluster。

如果您还有问题请告诉我。

Answer 2

您可以在您的log4j中使用以下内容。属性，请发布日志文件。

log4j.rootCategory=DEBUG, NotConsole
log4j.appender.NotConsole=org.apache.log4j.RollingFileAppender
log4j.appender.NotConsole.File=/<LIVY SERVER INSTALL PATH>/logs/livy.log
log4j.appender.NotConsole.maxFileSize=20MB
log4j.appender.NotConsole.layout=org.apache.log4j.PatternLayout
log4j.appender.NotConsole.layout.ConversionPattern=%d{yy/MM/dd HH:mm:ss} %p %c{1}: %m%n

Answer 3

查看github的repo，主分支似乎正在开发中，并且有一个0.2版本的独立发布分支。安装livy的直接方法(对我来说很有效)是按照快速入门页面中的步骤操作:http://livy.io/quickstart.html

下载Livy Server发行版

wget http://archive.cloudera.com/beta/livy/livy-server-0.2.0.zip

<标题> 解压

unzip livy-server-0.2.0.zip

<标题>

$ cd livy-server-0.2.0
$ ./bin/livy-server
16/11/07 20:32:51 INFO LivyServer: Using spark-submit version 2.0.0
16/11/07 20:32:51 WARN RequestLogHandler: !RequestLog
16/11/07 20:32:51 INFO WebServer: Starting server on http://ip-xx-xx-xx-xxx.us-west-2.compute.internal:8998