你知道为什么当我尝试访问spark UI master时，spark shell中会出现以下错误吗？
WARN amfilter.AmIpFilter: Could not find proxy-user cookie, so user will not be set
如果用纱线启动火花壳，就会发生这种情况。
spark-shell --master yarn
在这种情况下，YARN将启动一个代理web应用程序，以提高整个系统的安全性。启动Spark shell时，代理的URL将显示在日志中。这是我日志中的一个示例：
16/06/26 08:38:28 INFO cluster.YarnClientSchedulerBackend: Add WebUI Filter. org.apache.hadoop.yarn.server.webproxy.amfilter.AmIpFilter, Map(PROXY_HOSTS -> myhostname, PROXY_URI_BASES -> http://myhostname:8088/proxy/application_1466917030969_0003), /proxy/application_1466917030969_0003
您不应该使用端口4040（或您配置的任何端口）访问标准Spark Web UI。相反，我知道这两个选项（我更喜欢第二个）：
扫描日志中的代理应用程序URL并使用该
打开YARN Web UIhttp://localhost:8088/cluster和按照的ApplicationMaster（列跟踪UI）链接运行Spark应用程序
YARN和SPark文档中也简要介绍了这一点。
Spark Security文档：
https://spark.apache.org/docs/latest/security.html
Yarn Web应用程序代理文档：
https://hadoop.apache.org/docs/current/hadoop-yarn/hadoop-yarn-site/WebApplicationProxy.html