我是火花新手。我有一个带有一个边缘节点的10节点Hadoop集群。我正在从边缘节点提交spark应用程序,并将spark-submit命令输出重定向到边缘节点的本地文件。
所以当spark应用程序失败时,我可以检查边缘节点日志文件并采取行动。
当我读到yarn应用程序日志时,它说运行该应用程序的节点管理器将登录到某个位置(yarn.nodemanager.log-dir)。
这个nodemanager日志和边缘节点日志有什么不同?有人能详细解释一下yarn应用日志吗?
边缘节点日志"将是Spark驱动程序应用程序日志,它可能会显示类似URL to track the Job: <link to YARN UI>
的内容。如果你想要实际的Spark运行时日志,你需要通过Spark UI查看单个Spark执行器(如果这是你运行Spark的方式,它会重定向到YARN UI)
NodeManager(和ResourceManager)是一个YARN进程,有自己的日志,和你的Spark代码无关