我想使用Spark 3.3.0在scala的AWS Glue 3.0中有Trigger.availableNow
这样的版本特性,但是AWS Glue 3.0使用的是Apache spark 3.1.1版本,有没有办法在scala的AWS Glue 3.0中使用Apache spark 3.3.0呢?
不,很遗憾这是不可能的。您只能使用Glue提供的版本。如果你想使用不同的Spark版本,你必须使用AWS EMR,他们支持Spark 3.2.0。
Spark 3.3.0现在可以使用AWS Glue 4.0https://aws.amazon.com/about-aws/whats-new/2022/11/introducing-aws-glue-4-0/