Spark UI一直重定向到/null并返回500

我在spark-client模式下运行时访问spark UI有问题。它在本地模式下工作良好。
它通过在末尾添加/null不断重定向回自身，最终超出url的大小限制并返回500。请看下面的内容。
我有一种感觉，我可能错过了一些配置，我玩了各种配置设置的纱线没有成功。
我正在使用spark 1.3.1版本
任何帮助都将非常感激。
--2015-09-09 11:22:17--  http://192.168.13.37:4040/
Connecting to 192.168.13.37:4040... connected.
HTTP request sent, awaiting response... 
  HTTP/1.1 302 Found
  Location: http://192.168.13.37:4040/null/
  Content-Length: 0
  Server: Jetty(8.y.z-SNAPSHOT)
Location: http://192.168.13.37:4040/null/ [following]
--2015-09-09 11:22:17--  http://192.168.13.37:4040/null/
Reusing existing connection to 192.168.13.37:4040.
HTTP request sent, awaiting response... 
  HTTP/1.1 302 Found
  Location: http://192.168.13.37:4040/null/null/null/
  Content-Length: 0
  Server: Jetty(8.y.z-SNAPSHOT)
Location: http://192.168.13.37:4040/null/null/null/ [following]
--2015-09-09 11:22:17--  http://192.168.13.37:4040/null/null/null/
Reusing existing connection to 192.168.13.37:4040.
HTTP request sent, awaiting response... 
  HTTP/1.1 302 Found
  Location:         http://192.168.13.37:4040/null/null/null/null/null/null/null/
  Content-Length: 0
  Server: Jetty(8.y.z-SNAPSHOT)
Location: http://192.168.13.37:4040/null/null/null/null/null/null/null/ [following]
--2015-09-09 11:22:17--      http://192.168.13.37:4040/null/null/null/null/null/null/null/
Reusing existing connection to 192.168.13.37:4040.
HTTP request sent, awaiting response... 
  HTTP/1.1 302 Found
  Location: http://192.168.13.37:4040/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/
  Content-Length: 0
  Server: Jetty(8.y.z-SNAPSHOT)
Location: http://192.168.13.37:4040/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/ [following]
--2015-09-09 11:22:17--      http://192.168.13.37:4040/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/
Reusing existing connection to 192.168.13.37:4040.

Here is stack dump:
15/09/09 11:22:18 WARN server.Response: Committed before 500 null
15/09/09 11:22:18 WARN server.AbstractHttpConnection:     /null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/null/
java.lang.IllegalStateException: Committed
        at org.spark-    project.jetty.server.Response.resetBuffer(Response.java:1154)
        at org.spark-    project.jetty.server.Response.sendError(Response.java:317)
       at org.spark-project.jetty.server.handler.ContextHandler.doHandle(ContextHandler.java:1095)
    at org.spark-project.jetty.servlet.ServletHandler.doScope(ServletHandler.java:428)
    at org.spark-project.jetty.server.handler.ContextHandler.doScope(ContextHandler.java:1020)
    at org.spark-project.jetty.server.handler.ScopedHandler.handle(ScopedHandler.java:135)
    at org.spark-project.jetty.server.handler.ContextHandlerCollection.handle(ContextHandlerCollection.java:255)
    at org.spark-project.jetty.server.handler.HandlerWrapper.handle(HandlerWrapper.java:116)
    at org.spark-project.jetty.server.Server.handle(Server.java:370)
    at org.spark-project.jetty.server.AbstractHttpConnection.handleRequest(AbstractHttpConnection.java:494)
    at org.spark-project.jetty.server.AbstractHttpConnection.headerComplete(AbstractHttpConnection.java:971)
    at org.spark-project.jetty.server.AbstractHttpConnection$RequestHandler.headerComplete(AbstractHttpConnection.java:1033)
    at org.spark-project.jetty.http.HttpParser.parseNext(HttpParser.java:644)
    at org.spark-project.jetty.http.HttpParser.parseAvailable(HttpParser.java:235)
    at org.spark-project.jetty.server.AsyncHttpConnection.handle(AsyncHttpConnection.java:82)
    at org.spark-project.jetty.io.nio.SelectChannelEndPoint.handle(SelectChannelEndPoint.java:667)
    at org.spark-project.jetty.io.nio.SelectChannelEndPoint$1.run(SelectChannelEndPoint.java:52)
    at org.spark-project.jetty.util.thread.QueuedThreadPool.runJob(QueuedThreadPool.java:608)
    at org.spark-project.jetty.util.thread.QueuedThreadPool$3.run(QueuedThreadPool.java:543)
    at java.lang.Thread.run(Thread.java:745)
我也遇到过同样的问题，我花了很长时间才发现问题并找到解决方案。
我在yarn-client模式下对EMR集群使用spark，驱动程序类路径中的jar与集群上的jar不匹配，特别是hadoop-yarn-server-web-proxy.jar。只将EMR的jar从集群带到驱动程序，并只将它们添加到驱动程序的类路径中解决了这个问题。
相关内容

最新更新

热门标签：
