Prestosql/trino上的EMR缩放会杀死查询



我在EMR上有一个presto集群。我们也有基于AWS cloudwatch指标的自动扩展策略。当集群缩小节点时,我们会遇到一个问题,它不会等待在这些节点上运行的查询完成。它只是杀死了所有的查询并缩小了规模。有一个属性可以在集群配置中使用,它可以优雅地关闭节点,但这有其局限性。它不适用于trino或prestoSql。这只适用于Prestodb。

https://docs.aws.amazon.com/emr/latest/ReleaseGuide/presto-graceful-autoscale.html

我也探索了cooldown时期的自动伸缩策略,但它们似乎都不适用于我们的集群。我想知道这是presstosql/trino的已知问题

AWS在2023年3月创建了一个GitHub仓库Amazon EMR - Trino Autoscale,我认为这会有所帮助。

在自述文件中,它提到

这个项目为使用Trino运行的EC2集群上的Amazon EMR提供了一个自定义的自动伸缩。该包支持随需应变/SPOT实例的开箱即用的实例组和实例舰队集群。

为了使用这个实用程序,建议启用Trino容错执行,以避免在调整大小操作期间查询失败。

最新更新