我试图增加pyspark配置中的心跳间隔参数，但一直得到此错误。是否存在spark.executor.heartbeatInterval间隔和spark.network.timeout的良好组合，增加了大作业的超时值，但也使我启动spark会话而没有此错误?
IllegalArgumentException: u'requirement failed: valueSpark.network.timeout =120s必须大于等于spark.executor.heartbeatInterval = 10000年代。
谢谢!
您还必须增加spark.network.timeout值。
文档清楚地说明:
spark.executor.heartbeatInterval应显著小于spark.network.timeout
很难解释;但默认情况下，spark.network.timeout比spark.executor.heartbeatInterval大12倍(120秒)。
试题:
--conf spark.network.timeout 100000 --conf spark.executor.heartbeatInterval 10000