实际上，我怀疑是否有可能在不生成日志的情况下运行Hadoop/Spark作业。
例如，我应该能够使用Spark提交触发Spark作业，但它不应该在任何位置存储任何日志，即我们的资源管理器或Spark历史服务器不应该显示任何与应用程序相关的信息。甚至像应用程序是否成功这样的信息也是如此。如果能做到这一点，我会要求为Mapreduce工作和Hive on Tez工作提供类似的信息。
我在谷歌上搜索了一下，但找不到任何关于这方面的信息。
每个组件(YARN容器、NodeMananger进程、ResourceManger进程、History Server(都配置有自己的log4j属性文件。您需要覆盖每个日志级别以将它们的日志级别设置为OFF；隐藏"；日志。
请记住，您可能需要日志来调试应用程序因任何原因失败的原因。