我正在使用Hadoop,我需要配置机架感知。谁能给我一个关于它是如何工作的想法或教程?
我使用Hadoop 1.2.1
既然你想要教程和指导,这里有几个链接,足以让你了解如何设置机架意识:
- http://docs.hortonworks.com/HDPDocuments/HDP2/HDP-2.3.0/bk_hdfs_admin_tools/content/ch05.html
- https://bigdataprocessing.wordpress.com/2013/07/30/hadoop-rack-awareness-and-configuration/
机架拓扑,在Hadoop的上下文中,定义了机器在数据中心机架中的物理位置。结合传统的网络设计和机架顶部交换,这使我们能够推断机器之间在逻辑上的网络连接程度。机器的物理位置也与其他问题有关,例如电力基础设施,这对于理解系统中可能的故障域至关重要。
在Hadoop中,机架拓扑是通过实现一个脚本来配置的,当在命令行上给出主机名或IP地址列表时,该脚本会按顺序打印机器所在的机架。拓扑脚本的实现完全取决于管理员,它可以像shell脚本一样简单,包含硬编码的机器和机架名称列表,也可以像从关系数据库读取数据的C可执行文件一样复杂。最常见的脚本类型之一是使用机器到机架映射的CSV文件。这里有一个例子
http://wiki.apache.org/hadoop/topology_rack_awareness_scripts