最先进的作业调度(容器、混合云)?



我们有一种评估作业,它由数千次具有各种输入的遗留二进制文件的调用组成,每个输入都像一分钟一样运行。单个运行是完全可并行化的(每个内核一个实例(。

在混合云场景中执行此操作的最新技术是什么?

Kubernetes 本身似乎没有提供用于确定等待作业优先级或管理等待作业的接口。詹金斯在这些方面会很擅长,但感觉就像一个黑客。当然,我们可以自己破解一些东西,但问题应该足够通用,已经有一个开箱即用的解决方案。

有很多框架可以帮助管理 Kubernetes 集群中的作业。最受欢迎的是:

  • Argo 用于在 Kubernetes 上编排并行作业。工作流作为 Kubernetes CRD(自定义资源定义(实现。
  • 气流 - 具有模块化架构,并使用消息队列来编排任意数量的工作线程。还可以看看 kubernetes-executor。

我建议您寻找此视频,该视频描述了每个框架,并帮助您决定哪个更适合您。

您可能有兴趣了解将 Mesos 用于混合云的 Aricle

薛,诺哈和
  • 豪格鲁德,哈雷克和雅兹迪,阿尼斯。(2017(. 迈向使用 Apache Mesos 的混合云平台.143-148. 10.1007/978-3-319-60774-0_12.

混合云技术正变得越来越流行,因为它融合了私有云和公共云,将两个世界的优点结合在一起。但是,由于异构云安装,促进混合云设置并不简单。尽管有一些商业解决方案可用于构建混合云,但开源实施仍然不可用。在本文中,我们试图通过利用Apache Mesos的强大功能提供开源实现来弥合差距。我们在多个云平台(私有云和公共云平台(之上构建混合云。

  • 满足您所有混合云需求的 Apache Mesos
  • 选择混合云的最佳方法

最新更新