无法在Google-Cloud-Dataproc中启动Spark Thrift Server



我很难在Google-cloud DataProc群集中启动port 10010的Spark SQL的旧服务服务器,它失败了以下错误,有人可以帮助吗?端口号仍然没有运气。

sudo -u spark hive_server2_thrift_port = 10010/usr/lib/spark/sbin/sbin/start-thriftserver.sh

这是日志:

16/11/30 23:47:16 info org.apache.hive.service.abstractservice:服务:thriftbinarycliservice启动。16/11/30 23:47:16 info org.apache.hive.service.service.abstractservice:服务:Hiveerver2启动。16/11/30 23:47:16错误org.apache.hive.service.cli.thrift.thrift.thriftcliservice:启动Hiveserver2:无法启动thriftbinarycliserviceorg.apache.thrift.transport.ttransportexception:无法在地址上创建serverversocket 0.0.0.0.0.0.0.0.0.0.0:10002。 atorg.apache.thrift.transport.tserversocket。(tserversocket.java:109) 在org.apache.thrift.transport.tserversocket。(tserversocket.java:91) 在org.apache.thrift.transport.tserversocket。(tserversocket.java:87) 在org.apache.hive.service.auth.hiveauthfactory.getserversocket(hiveauthfactory.java:241) 在org.apache.hive.service.cli.thrift.thriftbinarycliservice.run(thriftbinarycliservice.java:66) 在java.lang.thread.run(thread.java:745)16/11/30 23:47:16信息org.apache.hive.service.server.hiveserver2:关闭Hiveserver216/11/30 23:47:16 info org.apache.hive.hive.service.abstractservice:服务:ThriftBinaryCliservice停止。16/11/30 23:47:16 info org.apache.hive.service.service.abstractservice:服务:操作管理器已停止。16/11/30 23:47:16 info org.apache.hive.service.service.abstractservice:服务:SessionManager停止。16/11/30 23:47:16 info org.apache.hive.service.service.abstractservice:服务:Cliservice停止。16/11/30 23:47:16 info org.apache.hive.hive.service.abstractservice:服务:hiverver2停止

我不确定为什么这不起作用,但我建议运行 apt-get install spark-thriftserver而不是。

默认情况下,该服务器配置为在端口10002上出现(就像在您的情况下尝试这样做一样),但是您可以在spark-env.sh中更改该服务。

也值得注意的是,带有AppMaster的旧服务器和执行人可以填充一个小集群,或者被另一个小型Spark作业阻止。

相关内容

  • 没有找到相关文章