如何在HDIsight群集上运行Spark作业时修复此致命错误？会话 681 意外地达到了"死亡"的最终状态。查看日志：

Question

>我在HDIcluster上运行pyspark代码并收到此错误：

由于致命错误，代码失败：会话 681 意外 达到最终状态"死亡"。查看日志：

我没有YARN或Hadoop的经验。我尝试了堆栈溢出中提供的一些链接。但他们都没有帮助。一件奇怪的事情是我昨天能够运行相同的代码而没有出现该错误。

我刚刚运行了这个导入

from pyspark.sql import SparkSession

这是我得到的错误：

19/06/21 20:35:35 INFO Client: 
     client token: N/A
     diagnostics: [Fri Jun 21 20:35:35 +0000 2019] Application is Activated, waiting for resources to be assigned for AM.  Details : AM Partition = <DEFAULT_PARTITION> ; Partition Resource = <memory:819200, vCores:240> ; Queue's Absolute capacity = 50.0 % ; Queue's Absolute used capacity = 99.1875 % ; Queue's Absolute max capacity = 100.0 % ; 
     ApplicationMaster host: N/A
     ApplicationMaster RPC port: -1
     queue: default
     start time: 1561149335158
     final status: UNDEFINED
     tracking URL: https://mmsorderpredhdi.azurehdinsight.net/yarnui/hn/proxy/application_1560840076505_0062/
     user: livy
19/06/21 20:35:35 INFO ShutdownHookManager: Shutdown hook called
19/06/21 20:35:35 INFO ShutdownHookManager: Deleting directory /tmp/spark-bb63c5f0-7579-4456-b32a-0e643ca97ecc
YARN Diagnostics: 
Application killed by user..

问：队列的绝对已用容量有什么问题吗？

Answer 1

您能否检查日志以找到确切的问题？

在哪里可以找到日志文件？

在 Azure HDInsight 群集上，可以通过使用 SSH 连接到其中一个头节点并在此路径下载文件来找到 livy 日志。

hdfs dfs -ls /app-logs/livy/logs-ifile

有关更多详细信息，请参阅"在基于 Linux 的 HDInsight 上访问 Apache Hadoop YARN 应用程序日志">

另外，您可以参考"如何在pyspark中启动Sparksession"。

希望这有帮助。