如何在集群部署模式下管理工作依赖性



当我使用群集模式提交火花作业时,它会立即返回。并在集群上运行工作。

因此,如果我想在工作完整地提交工作时提交作业B,则似乎无法在集群部署模式下完成。因为作业完成后没有任何回调或通知。

除了阿普尔巴所说的话,您还可以在自己的程序中写下依赖关系,通过这样做,您可以在一个程序中运行一些作业。

最新更新