如何减少 HDFS 命名节点中较大的性能差异

Question

我在HDFS名称节点(v2.7)响应时间中遇到了严重的性能问题。特别是在高峰流量期间，我的 HDFS 名称节点过载，一些 DFS 操作(如列出目录)可能需要很长时间，这会影响我的 Presto 和其他 Hadoop 应用程序的查询响应时间。对解决方案有什么建议吗？

Answer 1

我的团队在之前的高峰时段在高延迟 Namenode RPC 延迟方面也面临着类似的挑战。我们使用多层架构来解决问题。更具体地说，我们有一个大的，高利用率的Hadoop集群(数万个节点)，在它周围，我们有较小的计算集群(大约1000个节点)，在Alluxio上运行Presto和其他不同的框架，作为大型HDFS集群的缓存层。这样，数据和元数据服务的压力就会被Alluxio部署所抵消。

有关更多信息，您可以查看此物业演示。