我在 EMR 上运行一个 Spark 作业，(纱线、集群模式、瞬态 - 集群在作业完成后关闭(，并打开了调试模式。 所有 Spark 日志都按预期上传到 S3，但我无法上传自己的自定义日志... 使用 log4j，我尝试将它们写入与 spark 文档一致的以下路径log4j.appender.algoLog.File=${spark.yarn.app.container.log.dir}/algoLog.log
似乎变量未定义。它尝试直接写入根目录。/algoLog.log. 如果我将其写入其他任意位置。它只是没有出现在 s3 上。 如果我希望 EMR 在集群关闭后将其上传到 s3，我应该在哪里编写自己的日志文件？
Log4J 没有设置为写入对象存储;文件系统的概念是不同的。
您也许可以让 YARN 使用其日志收集来执行此操作。请参阅如何保留 YARN 的日志文件？