我的笔记本电脑中有伪分布式hadoop 2.2.0环境设置。我可以运行mapreduce应用程序(包括Pig和Hive作业),应用程序的状态可以从Web UI http://localhost:8088
中看到
我已经下载了Spark库,并且刚刚为Spark应用程序使用了文件系统HDFS。当我启动一个Spark应用程序时,它正在启动,并且执行也按预期成功完成。
但是Web UI http://localhost:8088
没有列出已完成/已启动的Spark应用程序。
请建议是否需要任何其他额外的配置才能在Web UI中看到Spark应用程序。
(注意:当尝试通过Spark应用程序将文件写入HDFS时,http://localhost:50070
此Web UI会正确显示文件)
如果不是其他开始使用Spark的人,你可能已经知道了。你可以在上看到所有的Spark作业
http://localhost:4040
在您的spark上下文启动之后(端口可以不同,例如4041)。基于独立安装,您可以在上看到主和从状态
http://localhost:8080
(对于从端口,通常是8081以后)。您需要Spark将作业提交到yarn集群或客户端,才能在hadoopwebservices上看到相同的作业。