Hadoop性能问题由于节点太多



我听说如果您运行广泛的查询,因为涉及太多节点,Hadoop可能会遇到性能问题?

任何人都可以验证或伪造此语句吗?

谢谢!br

如果添加太多文件,则NAMENODE存在性能问题,因为它必须将所有文件位置存储在内存中。您可以通过定期创建较大的档案来优化它。例如,每日数据库转储变为每月/年度压缩档案

HDFS数据台只是一个文件系统,并且线性缩放。总体上添加更多的NodeManager节点没有负面后果,并且据报道,纱线最多可达1000个节点,我建议您使用独立的簇,如果您实际上需要更多。

与任何分布式系统一样,您需要优化网络交换和系统监视,但是这些是操作性性能问题,而不是Hadoop

最新更新