数据库块上的Jar作业超时限制



是否有任何Jar作业超时限制或Jar作业可以在数据块上无限制地运行?我们的应用程序开始长时间运行spark作业一周,创建spark会话和"fire";子作业,但在8月份的发布说明中,我发现笔记本将作业执行限制了2天。是否有可能在这样的限制下运行流作业?

spark-defaults.conf中设置spark.executor.heartbeatInterval为100000,spark.network.timeout为200000文件。

——代码

.set("spark.executor.heartbeatInterval", "100000 ")  
.set("spark.network.timeout", "200000 ")

最新更新