Web UI(http://localhost:8088)未显示Spark应用程序



我的笔记本电脑中有伪分布式hadoop 2.2.0环境设置。我可以运行mapreduce应用程序(包括Pig和Hive作业),应用程序的状态可以从Web UI http://localhost:8088 中看到

我已经下载了Spark库,并且刚刚为Spark应用程序使用了文件系统HDFS。当我启动一个Spark应用程序时,它正在启动,并且执行也按预期成功完成。

但是Web UI http://localhost:8088没有列出已完成/已启动的Spark应用程序。

请建议是否需要任何其他额外的配置才能在Web UI中看到Spark应用程序。

(注意:当尝试通过Spark应用程序将文件写入HDFS时,http://localhost:50070此Web UI会正确显示文件)

如果不是其他开始使用Spark的人,你可能已经知道了。你可以在上看到所有的Spark作业

http://localhost:4040

在您的spark上下文启动之后(端口可以不同,例如4041)。基于独立安装,您可以在上看到主和从状态

http://localhost:8080

(对于从端口,通常是8081以后)。您需要Spark将作业提交到yarn集群或客户端,才能在hadoopwebservices上看到相同的作业。

相关内容

  • 没有找到相关文章

最新更新