一些自动启动Hadoop YARN应用程序



我是Apache Hadoop的新手。我在AWS上安装了一个YARN集群,其中有一个主控和两个从控。当我刚启动集群YARN时,我可以观察到一些应用程序是由用户dr.who自动启动的,应用程序类型为YARN。这让我很困扰。希望有人能帮我摆脱困境。谢谢

application_1531399885156_0041  dr.who  hadoop  YARN    default Thu Jul 12 14:58:37 +0200 2018  N/A ACCEPTED    UNDEFINED   ApplicationMaster   0

这是Hadoop最新发布中的一个已知错误,还创建了一个JIRA。dr.who提交的应用程序,当用户杀死所有作业时,NodeManager就会关闭。

编辑:问题解决

问题由于默认用户dr.who.的权限不正确,客户无法通过资源管理器UI查看日志

RESOLUTION客户更改了core-site.xml中的以下属性以解决此问题。其他值(如hdfs或mapred(也解决了这个问题。如果集群由Ambari管理,则应在Ambari>HDFS>配置>高级核心站点>添加属性

hadoop.http.staticuser.user=yarn

同样的威胁也发布在Hortonworks上,Sandeep Nemuri回复道:

  1. 停止进一步攻击:

a。使用防火墙/IP表设置只允许访问资源管理器端口的白名单IP地址(默认8088(。在HA设置中的两个资源管理器上执行此操作。这只针对当前的攻击。为了永久保护您的集群,必须阻止所有HDP端点(例如WebHDFS(在防火墙之外进行开放访问。

b。确保集群安全(kerberized(。

  1. 清除现有攻击:

a。如果您已经在集群中看到上述问题,请过滤所有名为"MYYARN"的应用程序,并在验证这些应用程序不是由您自己的用户合法提交后将其杀死。

b。您还需要手动登录到集群机器,并使用"z_2.sh"、"/tmp/java"或"/tmp/w.conf"检查是否有任何进程,然后杀死它们。

该线程的链接是:dr.who

相关内容

  • 没有找到相关文章

最新更新