我现在正在研究改进MapReduce调度器的主题,但不幸的是,我的大学没有提供用于研究目的的集群。我正在考虑租用集群,我听说了 Amazon EC2,但我对其服务没有经验,也不知道如何使用它们。
我需要 5 台具有以下规格的机器(每台机器(:
- 双处理器(2.2 GHz AMD 皓龙® 处理器 4122,带 4 个物理内核(
- 8GB 内存
- 500GB 磁盘
我想手动设置 Linux 操作系统和 Hadoop 框架,就像我手上拿着机器一样。我想知道 Amazon EC2 是否提供类似的东西,我想估算一下这个基础设施的成本,比如说一个月。
如果我选择Amazon的Elastic MapReduce框架,我能够控制Hadoop的版本吗?我还可以更改其中调度程序的配置,以便我可以设置我的算法吗?
最后,我想知道是否有任何类型的模拟器可以让MapReduce进行不同的实验。
请原谅我的多个问题,我是这个领域的新手,任何指导将不胜感激。
我正在考虑租用集群,我听说了 Amazon EC2,但我对其服务没有经验,也不知道如何使用它们。
亚马逊的AWS有一个详细的文档,请参考入门链接,以帮助您开始。此外,AWS 自主进度动手实验室也值得一试。
我需要 5 台具有以下规格的机器(每台机器(:双处理器、8GB RAM 和 500GB 磁盘。
亚马逊的AWS提供了广泛的EC2实例类型。从实例类型列表中选择最适合您的使用案例。
我想手动设置 Linux 操作系统和 Hadoop 框架,就像我手上拿着机器一样。我想知道 Amazon EC2 是否提供类似的东西,我想估算一下这个基础设施的成本,比如说一个月。
AWS 不会提供未安装操作系统的虚拟机。AWS提供的所有虚拟机都预装了操作系统,您可以在其上手动安装Hadoop。当然,AWS提供了广泛的操作系统。
Amazon AWS 还提供了一个简单的月度成本结算器,用于根据您选择的实例和附加到每个实例的 EB2 卷数量来计算您的集群可能产生的成本。
如果我选择Amazon的Elastic MapReduce框架,我能够控制Hadoop的版本吗?我还可以更改其中调度程序的配置,以便我可以设置我的算法吗?
如果您使用 AWS EMR 部署 Hadoop 集群,则可以选择要安装的 Hadoop 版本,Amazon 支持的 Hadoop 版本为 2.4.0、2.2.0、1.0.3、0.20.205。
最后,我想知道是否有任何类型的模拟器可以让MapReduce进行不同的实验。
不过我不了解mapreduce模拟器部分。