我有大量的小文件要存储在HDFS中。根据文件名，我想将它们存储在不同的数据节点中。通过这种方式，我可以实现以某些字母开头的文件名进入特定的数据节点。如何在Hadoop中做到这一点？
不是一个非常好的选择。原因：
- Hadoop不太擅长处理大量的小文件。
- 在单个节点中存储一个完整的文件违背了HDFS的基本原则之一，即分布式存储。
我想知道这种方法会给你带来什么好处。
回应您的评论：
HDFS不像HBase那样进行任何类型的排序。当你把一个文件放进HDFS时，它首先被分成小块，然后被存储（每个块在不同的节点上）。因此，没有什么比将整个文件发送到单个节点更好的了。您的文件（块）驻留在多个节点上。
您可以做的是根据需要创建一个目录层次结构并将文件存储在这些目录中（如果您打算直接根据文件的位置获取文件）。例如
/dirA
/dirA/A.txt
/dirA/B.txt
/dirB
/dirB/P.txt
/dirB/Q.txt
/dirC
/dirC/Y.txt
/dirC/Z.txt
但是，如果您真的想将特定文件的块发送到某些特定节点，那么您需要实现自己的块放置策略，这并不容易。有关更多详细信息，请参阅此处。