在spark shell内部,我在提交评论之间不断收到以下错误消息。这些可能是关于什么的?
scala>16/04/12 12:49:14错误码调度程序:XXXXXXXX上的执行程序2丢失:远程Rpc客户端已解除关联2012年4月16日12:49:14错误YarnScheduler:XXXXXXXX上的执行器5丢失:远程Rpc客户端已解除关联2012年4月16日12:49:16错误YarnScheduler:XXXXXXXX上的执行器4丢失:远程Rpc客户端已解除的关联
如果配置了动态资源分配,当不需要的资源被释放到Yarn时,这些错误就会出现。错误级别对我来说似乎有误导性,也许INFO更合适。http://spark.apache.org/docs/latest/job-scheduling.html#dynamic-资源分配
edit:这应该在Spark 1.6中修复https://issues.apache.org/jira/browse/SPARK-4134