AWS Glue等效于EMRFS角色映射



在EMR中,您可以通过EMRFS角色映射指定读/写S3的操作将根据S3 URL承担不同的IAM角色。这对于从同一个帐户中的bucket读取,并向另一个帐户的bucket写入的用例特别有用——EMRFS允许您指定使用不同的角色进行读取和写入操作,并且该角色可以在不同的帐户中。通过避免这种情况,这简化了在另一个帐户中写入对象时的权限处理

胶水工作的等价物是什么?看起来我只能为整个工作授予一个角色,而且我看不出有什么方法可以为不同的S3存储桶/前缀承担不同的角色。Glue中有安全配置,与EMR一样,但看起来这些配置只支持加密选项。

Glue中没有这样的东西。

但是,由于S3支持假定对象所有权,EMRFS角色映射就不那么重要了。

EMRFS的主要用途是在写操作中承担与bucket所有者相同的帐户中的角色,以确保创建的对象归bucket所有者所有。

现在,您可以简单地授予跨帐户的读/写存储桶权限,使用S3";对象所有权;配置设置为";桶主优选";并且客户端设置";桶所有者完全控制";新对象的ACL。后者可以通过Spark会话完成。

最新更新