在 Kubernetes/Mesos 中运行 YARN 集群

Question

我正在使用 YARN 在 Spark 上运行一组 dockerized 应用程序，我想知道在 Kubernetes 中部署集群是否可行，或者 Mesos 是否是更好的选择？在决定一个经理而不是另一个经理之前，我会非常感谢任何架构陷阱。

Answer 1

您可以使用 Apache Livy 构建 for Kubernetes： https://github.com/jahstreet/spark-on-kubernetes-helm 。此设置完全取代了 Spark 的 Yarn 支持的功能，并在其上添加了一些额外的功能。