Hadoop:如何将web日志保存到本地文件?



我想知道是否有可能将hadoop (yarn) web日志保存为作业(容器)到本地文件?现在我可以在浏览器中检查所有的日志,但是当日志太长时,我的浏览器崩溃了。我也无法访问数据湖。把web日志保存到一个我可以在本地分析的文件的最好方法是什么?

您可以使用yarn logs -applicationId命令,使用shell重定向来输出到文件

或者您可以从运行代码的节点管理器中SCP文件

更好的解决方案包括设置日志收集器,如Fluentd或Filebeat,将日志流式传输到Elasticsearch中,在那里它们可以被分析