支持Docker的EMR 6 Beta存在S3访问问题

Question

我正在探索支持Docker的新EMR 6.0.0，以便决定是否要使用它。我们的一个项目是用Scala 2.11编写的。但EMR 6.0.0附带了从Scala 2.12构建的Spark。所以我转而尝试6.00-beta，它是从Scala 2.11构建的Spark 2.4.3。如果它在6.0.0-beta上运行，那么我们将把代码升级到Scala2.12并使用6.0.0。

我遇到的一些问题是，当我试图运行我的Scala spark工作时：

1. 当它试图从S3读取镶木地板时，我得到了错误：java.lang.RuntimeException：无法创建临时目录：[/mnt/S3]
2. 当我尝试使用https进行API调用时，出现错误：usun.security.validator.ValidatorException：PKIX路径构建失败：sun.security.provider.certpath.SunCertPathBuilderException：找不到请求目标的有效证书路径
3. 当它试图从S3读取文件时，我得到了错误：找不到类com.amazon.ws.emr.hadoop.fs.EmrFileSystem。我能够通过路过的路径破解这个——罐子。也许不是最好的解决方案

我猜在引导过程中或Docker文件中一定有需要设置的内容。

有人能帮忙吗？谢谢

Answer 1

我解决了S3问题。在测试版中，/mnt/s3没有挂载并被授予读写权限。

因此，我需要将"docker.ellowed.rw-mounts"添加到容器执行器配置中，如下所示：

docker.ellowed.rw mounts=/etc/passwd，/mnt/s3