火花外壳错误YarnScheduler:执行器丢失



在spark shell内部,我在提交评论之间不断收到以下错误消息。这些可能是关于什么的?

scala>16/04/12 12:49:14错误码调度程序:XXXXXXXX上的执行程序2丢失:远程Rpc客户端已解除关联2012年4月16日12:49:14错误YarnScheduler:XXXXXXXX上的执行器5丢失:远程Rpc客户端已解除关联2012年4月16日12:49:16错误YarnScheduler:XXXXXXXX上的执行器4丢失:远程Rpc客户端已解除的关联

如果配置了动态资源分配,当不需要的资源被释放到Yarn时,这些错误就会出现。错误级别对我来说似乎有误导性,也许INFO更合适。http://spark.apache.org/docs/latest/job-scheduling.html#dynamic-资源分配

edit:这应该在Spark 1.6中修复https://issues.apache.org/jira/browse/SPARK-4134

相关内容

  • 没有找到相关文章

最新更新