我知道hadoop使用log4进行日志记录,并且我能够查看conf/log4j.properties中的属性来确定现有日志文件的位置。但是,有没有一种方法可以将日志从hbase mapreduce作业引导到一个全新的文件?想法是,我有一个计划每晚运行的作业,我希望能够只为这个作业登录/var/log/myjob.log,这样我就可以检查该文件中是否有任何错误/异常,而不必通过jotracker UI。这可能吗?如果是,如何?此外,请注意,作业将提交到集群,因此如果日志文件需要在HDFS或常规(linux)平台上,请提供建议。如果在Linux上,那么它应该在所有节点上,还是只在hadoop主机上?
谢谢你的建议。
您可以动态创建一个文件附件,如在mapper和reducer类的setup()方法中以编程方式配置Log4j Loggers中所述。