Spark 独立调度器还是 Yarn 调度器更适合 Cloudera 5.4 Hadoop集群

Question

关于能够使用 Spark 运行机器学习作业。Yarn 调度程序和 Spark 独立调度程序哪个更好？

Answer 1

在

运行实际的火花作业时没有区别。

Yarn/Mesos

可帮助您在集群中运行不同的 Spark 应用和/或其他组件（当然支持 Yarn/Mesos）来调度资源。

Spark 独立群集无法管理资源。也就是说，如果您启动一个 Spark 应用程序并且它使用所有资源，则第二个应用程序将找不到任何剩余资源。这意味着你必须自己做这件事（例如，相应地调整Spark配置）