HDFS 空间分配(大小/已用/可用)

Question

我阅读了一些参考资料，但我仍然无法清楚地弄清楚可用于在HDFS系统上存储文件的基本总大小是如何确定的。

如果我有一个运行HDFS服务的1TB磁盘，当我向其中添加文件时，dfs部分是否会自然"增长"，或者默认情况下是否有一部分磁盘分配给DFS？

Answer 1

是的，HDFS 的磁盘使用量会随着文件的添加而增长。默认情况下，数据节点将尝试使用其存储目录中的所有可用空间dfs.datanode.data.dir。

数据节点的配置容量为

Total Storage Capacity - Reserved Storage 

默认情况下0B Reserved Storage。如果您希望在存储上保留一些空间供非 HDFS 使用，请在数据节点的hdfs-site.xml中添加此属性

<property>
  <name>dfs.datanode.du.reserved</name>
  <value>107374182400</value> <!-- 100 GB reserved -->
  <description>Reserved space in bytes per volume. Always leave this much space free for non dfs use</description>
</property>