喜鹊(https://github.com/llnl/magpie)是一个shell脚本包，用于在传统HPC集群（如SLURM管理的集群）之上运行大数据应用程序（如Spark）。它为您管理了排队作业的大部分复杂性，但您可能仍然需要修改提交脚本以适合您自己的Spark应用程序-有关更多信息，请参阅文件
如何在Slurm集群上运行Spark？我很有兴趣在我的程序中定义SparkContext，并设置我想要使用的节点数量，但如果我必须为它编写一些bash脚本，那也没关系。
submission-scripts/script-sbatch/magpie.sbatch-spark。
您有两个选项。
- 只需将Spark的独立模式与任何Slurm并排使用即可做这意味着在目标机器到每个系统
- 将Slurm作为集群选项实施Spark。这最适合真正的管理和共享资源，但要困难得多，因为你必须弄清楚Spark的集群抽象并正确实现它们。你可以首先看看YARN或Mesos支持是如何实现的