我正在使用以下命令提交一个 Spark 作业。我想使用应用程序 ID 跟踪 yarn 日志，类似于 Linux 框中的尾部命令操作。
export SPARK_MAJOR_VERSION=2
nohup spark-submit --class "com.test.TestApplication" --name TestApp --queue queue1 --properties-file application.properties --files "hive-site.xml,tez-site.xml,hbase-site.xml,application.properties" --master yarn --deploy-mode cluster Test-app.jar > /tmp/TestApp.log &
不容易。
"YARN日志"实际上并不在YARN中，它们实际上位于Spark的执行器节点上。如果启用了 YARN 日志聚合，则日志位于 HDFS 中，可从 Spark 历史记录服务器获取。
行业部署模式是将Spark log4j属性配置为使用日志转发器（如Filebeat，Splunk，Fluentd）写入文件，然后将这些进程收集数据到搜索引擎中，如Solr，Elasticsearch，Graylog，Splunk等。通过这些工具，您可以大致跟踪/搜索/分析 CLI 外部的日志消息。
yarn logs -applicationId application_1648123761230_0106 -log_files stdout -size -1000
https://docs.cloudera.com/HDPDocuments/HDP3/HDP-3.0.1/data-operating-system/content/use_the_yarn_cli_to_view_logs_for_running_applications.html