SparkJobServer-is validate()总是在运行Job()之前调用



根据SparkJobServer文档:

validate允许对上下文和任何提供的配置。如果上下文和配置可以运行作业,则返回spark.jobserver.SparkJobValid将允许执行作业,否则返回spark.jobserver.SparkJobInvalid(reason)阻止作业运行,并提供了传达失败原因的方法。在这种情况下,调用会立即返回HTTP/1.1400错误请求状态代码。validate可以帮助您防止由于配置丢失或错误而最终失败的运行作业,并节省时间和资源。

因此,我可以假设validate()总是在runJob()之前被调用吗?

如果我在validate()中加载并验证作业配置,我的runJob()是否可以假设它已正确加载,并且在validate()留下的位置可用?

是的,你的假设是正确的。看见https://github.com/spark-jobserver/spark-jobserver/blob/master/job-server/src/spark.jobserver/JobManagerActor.scala#L268

最新更新