在AWS Glue 3.0中可以使用Spark 3.3.0



我想使用Spark 3.3.0在scala的AWS Glue 3.0中有Trigger.availableNow这样的版本特性,但是AWS Glue 3.0使用的是Apache spark 3.1.1版本,有没有办法在scala的AWS Glue 3.0中使用Apache spark 3.3.0呢?

不,很遗憾这是不可能的。您只能使用Glue提供的版本。如果你想使用不同的Spark版本,你必须使用AWS EMR,他们支持Spark 3.2.0。

Spark 3.3.0现在可以使用AWS Glue 4.0https://aws.amazon.com/about-aws/whats-new/2022/11/introducing-aws-glue-4-0/

相关内容

最新更新