在为 Starburst Presto 创建 Azure HDInsight 群集时,是否可以创建 Spark 群集



在为大数据创建基础结构时,我想将Azure HDInsight与Presto安装一起使用。Azure HDInsight具有不同的风格,如hadoop,Spark等。在文档中,建议使用Hadoop集群,但我想使用Spark集群。

是否可以将火花簇与Starburst的Presto发行版一起使用?

看起来你想同时使用Presto和Spark。如果在单个集群上运行它们,则需要适当地配置它们,以确保不同进程的 JVM 可以共存。这是可能的,但在实践中很难做到(你需要知道JVM如何在-Xmx设置之外分配内存(,所以绝对不建议这样做。

虽然我可以想象,在某些难以预配新硬件的本地安装中,您可能希望在一个群集上托管服务。在云中,预配两个单独的群集要方便得多,每个群集的大小都适合你的特定需求和工作负载。例如,您可以有一个带有 Presto 的集群,用于交互式分析、仪表板和即席查询。另一个使用 Spark 用于机器学习或 ETL 工作负载。

有关详细的配置说明,请参阅 Azure 上的 Starburst Presto 文档。

相关内容

  • 没有找到相关文章

最新更新