当从远程参与者向spark发送消息时,心跳总是会失败:
远程节点日志:
【信息】【2015年3月23日22:13:33.591】【wtb akka.remote.default-remote-dispatcher-6】【akka。tcp://wtb@127.0.0.1:2552/system/transports/akkaprotocolmanager.tcp0/akkaProtocol tcp%3A%2F%2SparkDriver%40127.0.0.1%3A7777-1]远程无响应。握手超时或传输故障检测器触发。
【警告】【2015年3月23日22:13:33.605】【wtb akka.remote.default-remote-dispatcher-5】【akka。tcp://wtb@127.0.0.1:2552/system/endpointManager/releaseEndpointWriter akka.tcp%3A%2F%2SparkDriver%40127.0.1%3A777-0]与远程系统的关联[akka。tcp://sparkDriver@127.0.0.1:7777]失败,地址现在被选通[5000]ms。原因是:[Disassociated]。
Spark节点的日志:
15/03/23 22:13:33 WARN ReliableDeliverySupersvisor:与远程系统的关联[akka。tcp://wtb@127.0.0.1:2552]失败,地址现在被选通了[5000]毫秒。原因是:[Disassociated]。
我错过了什么导致了这些错误?
Spark默认禁用Akka心跳。设置为1000秒。设置心跳间隔可解决此问题。