根据SparkJobServer文档:
validate允许对上下文和任何提供的配置。如果上下文和配置可以运行作业,则返回spark.jobserver.SparkJobValid将允许执行作业,否则返回spark.jobserver.SparkJobInvalid(reason)阻止作业运行,并提供了传达失败原因的方法。在这种情况下,调用会立即返回HTTP/1.1400错误请求状态代码。validate可以帮助您防止由于配置丢失或错误而最终失败的运行作业,并节省时间和资源。
因此,我可以假设validate()
总是在runJob()
之前被调用吗?
如果我在validate()
中加载并验证作业配置,我的runJob()
是否可以假设它已正确加载,并且在validate()
留下的位置可用?