如何有效地将同一路径中的多个文件加载到hadoop

Question

例如：我在路径/home/doc/data/中有10多个文件：202012.txt、202101.txt、202102.txt……

如果我想加载2021的所有文件，我必须使用：

hadoop fs -copyFromLocal /home/doc/data/202101.txt /home/doc/data/202102.txt /home/doc/data/202103.txt... $HDFSLOCATION

有没有有效的方法来避免代码冗余？

Answer 1

使用通配符：

hadoop fs -copyFromLocal "/home/doc/data/2021*.txt" $HDFSLOCATION