Spark Job-Server节目日志



我已经设置了一个spark job-server(请参阅https://github.com/spark-jobserver/spark-jobserver/spark-jobserver/tree/tree/jobserver-0.6.6.2-park-spark-1.6.6.1)在独立模式下。

我已经使用Scala设置了一些作业,每个作业都使用相同的共享上下文,但是我不明白如何坚持我的作业(或上下文)日志。

目前我正在使用:

val logger = LoggerFactory.getLogger(getClass)

没有任何成功。我没有找到任何文档或示例,甚至可能吗?

谢谢

我发现这有助于解决相同的问题:

https://mapr.com/blog/how-log-apache-park/

您必须调整Spark Log4J配置。

最新更新