亚马逊上的MapReduce/账户管理



我是 AWS 的新手。

我从 Amazon AWS 获得了 8700 美元的信用额度。我们是87个人,我想在我们中间分享这8700美元。(最好每人40美元)。

1-请指导我如何为他们创建帐户并为每个帐户分配40美元?或者假设他们已经有 AWS 账户,我想为每个账户分配 40 USD。

2-我们将使用Amazon AWS来熟悉map-reduce。我不知道我们应该使用什么服务(如EC2,弹性...我们更喜欢最简单的一个。我们想先使用 1 台计算机,在大数据集上运行一个 map-reduce 函数,看看这个过程需要多长时间,然后使用 4 和 8 系统再次测试它,看看差异。

3-我们应该使用什么语言来减少地图。可以使用 JAVA 或 C++ 吗?我们应该在哪里编写代码(在netBeans中,Microsoft VS等)?我在哪里可以找到一些示例代码?

4-我也不确定数据集。它应该在甲骨文上吗?Microsoft SQL 服务器 ...

非常感谢您提前提供的帮助。

我非常感谢您的帮助。

1 - 您需要了解 AWS Identity and Access Manager http://aws.amazon.com/iam/。 您可以创建关联同一结算帐号的用户。 我不确定您是否可以将积分分配给个人用户,但您可以控制访问权限。

2 - 您需要的服务是 AWS Elastic MapReduce http://aws.amazon.com/elasticmapreduce/

3-您最熟悉哪种语言?

问:Amazon Elastic MapReduce 支持哪些编程语言? 您可以使用 Java 来实现 Hadoop 自定义 jar。或者,您可以使用其他语言,包括Perl,Python,Ruby,C++,PHP, 和R通过Hadoop Streaming。请参阅开发人员指南 有关使用 Hadoop Streaming 的说明。 http://aws.amazon.com/elasticmapreduce/faqs/#dev-8

4-我想你的意思是数据库...我更喜欢MySQL,因为它比MSSQL或Oracle运行成本更低。您是否了解过 Amazon RDS?http://aws.amazon.com/rds/

  1. 有关金额共享,您可以查看 IAM 角色。将自己设置为管理员。

  2. 对于MapReduce EMR是最好的选择,因为你没有处理复杂的时间同步和DNS问题。

  3. 是的,可以使用JAVA/C++。有关示例代码,您可以参考 s3 存储桶s3n://elasticmapreduce/samples 而且来自亚马逊的文档也非常好 http://docs.aws.amazon.com/ElasticMapReduce/.您可以在 AWS 实例上编写代码,也可以创建本地开发环境并在 EMR 实例上构建代码。
  4. 是数据集还是数据库?

相关内容

  • 没有找到相关文章

最新更新