如何使用.boto文件启用对谷歌云的hadoop访问



我们公司正在从s3迁移到GCS。虽然命令行实用程序gsutil运行良好,但我在配置Hadoop(core-site.xml)以启用对GCS的访问时遇到了困难。此谷歌页面https://storage.googleapis.com/hadoop-conf/gcs-core-default.xml列出了需要添加的名称-值对,但在~/.boto文件中找不到任何这些。.boto文件只有以下集合:

  1. [凭证]项下的gs_oauth2_refresh_token
  2. [GSUtil]下的default_project_id
  3. 很少有人喜欢api_version等。。[OAuth2]节为空

我可以用gs_oauth2_refresh_token生成必要的密钥并将它们添加到Hadoop配置中吗?或者我可以从任何其他gsutil配置文件中获得这些吗?

对于hadoop配置,您可能希望使用服务帐户,而不是与实际电子邮件地址关联的gsutil凭据;有关设置p12密钥文件以及其他必要配置参数的更多详细信息,请参阅GCS连接器的手动安装说明。

最新更新