Apache hadoop中节点之间的距离是什么意思?



我正在阅读Hadoop中的采访问题,其中说:

你将如何获得Apache Hadoop中两个节点之间的距离?

有一个解决方案,但我真的不明白两个节点之间的距离一词。

什么意思?

这里有一个非常好的答案:https://qr.ae/pGRAyl

您可以在此处找到更多实现详细信息:https://hadoop.apache.org/docs/r2.10.0/hadoop-project-dist/hadoop-common/RackAwareness.html

Hadoop HDFS是一个分布式系统,更大的集群意味着更多的网络交换机。

当你读取抛出HDFS的文件时,首先,你请求name节点来获取有关文件块位置的信息。这些块分布在不同的机器上。

如果在某个时候,您从中检索数据的数据节点死亡,则可以从另一个副本获取此数据,而不会打扰用户。 您将从最近的计算机获取数据。实际上,亲密的含义很难衡量。因为它取决于物理距离和不可预测的系统负载,例如指标过度使用。出于这个原因,它在数据中心拓扑上。

这就是为什么知道Hadoop中节点之间的距离很重要的原因

最新更新