Hadoop distcp 到 S3a 与隐藏密钥对

Question

如何隐藏访问 Amazon S3 的ACCESS_ID_KEY和SECRET_ACCESS_KEY？

我知道将其添加到核心站点.xml，但也许有不同的解决方案。使用这种方法，集群中的每个用户都将使用相同的密钥运行 distcp。也许有一些解决方案，例如将其存储在每个群集用户的某个属性文件中？

谢谢。

Answer 1

请参阅我的HCC帖子，用于此用例使用Hadoop Credential API。