Apache Mesos 工作流 - 事件驱动的调度程序



我们目前正在将Apache Mesos与Marathon和Chronos一起使用,以安排长时间运行和批处理。

如果我们能像Oozie一样创建更复杂的工作流程,那就太好了。例如,当文件出现在某个位置或某个应用程序完成或调用 API 时,例如踢出作业。

虽然我们似乎可以用Marathon/Chronos或Singularity来做到这一点,但似乎没有现成的界面。

您可以使用 Chronos 的 /scheduler/dependency 端点来指定"在此作业运行之前必须至少运行一次的所有作业"。在每个 Chronos 作业上执行此操作,您可以构建任意复杂的工作流 DAG。

https://airbnb.github.io/chronos/#Adding%20a%20Dependent%20Job

Chronos 目前仅根据时间或依赖项触发器计划作业。其他事件(如文件更新、git 推送或电子邮件/推文)可以建模为等待 X 作业,然后您的目标作业将依赖于该作业。

最新更新