我正在为Kubernetes使用spark运算符。
https://github.com/GoogleCloudPlatform/spark-on-k8s-operator
我能够成功地运行作业，但由于pod是动态的，因此在监控和故障排除作业时会遇到很多麻烦。
我想知道启用历史服务器(到s3a://<bucket>(和spark操作符的最佳方式。
此外，我如何将每个作业的驱动程序/执行程序的stdout和stderr日志存储在s3a://<bucket>。
我认为使用filebeat收集pod的日志并将日志保存在elasticsearch中是一种很好的做法。