Hadoop数据节点配置核心和RAM

Question

我使用的Hadoop集群有9个节点。我想知道Hadoop集群中的基本数据节点配置是什么。

我在Namenode和Datanode上使用以下配置。

    RAM = 4GB
    Cores = 4
    Disk = 8 ( Total 16GB storage space)

运行示例排序和字数统计作业来检查hadoop网络的性能。

我选择的配置正确吗？

谢谢&问候，

Abdul Navaz

Answer 1

理论上，你可以使用任何你想要的配置，只要配置正确（这样Hadoop就知道服务器的功能等）。

在实践中，每个服务器至少应该有4GB的RAM（根据我的经验）。核心数量会影响性能，您应该有足够的可用磁盘空间来运行服务器（使用hdfs-site.xml中的设置dfs.datanode.du.reserved设置为非HDFS事物（如服务器工作）保留的空间量）。

我不确定你应该有多少空闲空间用于正常的Hadoop工作——我想这取决于你的工作。16GB在任何情况下都不算多。

一般来说，只要配置正确，您的设置就应该很好。