是否有任何Jar作业超时限制或Jar作业可以在数据块上无限制地运行?我们的应用程序开始长时间运行spark作业一周,创建spark会话和"fire";子作业,但在8月份的发布说明中,我发现笔记本将作业执行限制了2天。是否有可能在这样的限制下运行流作业?
在spark-defaults.conf中设置spark.executor.heartbeatInterval
为100000,spark.network.timeout
为200000文件。
——代码
.set("spark.executor.heartbeatInterval", "100000 ")
.set("spark.network.timeout", "200000 ")