我有数百个CSV文件，我想以类似的方式处理它们。为了简单起见，我们可以假设它们都在./data/01_raw/(如./data/01_raw/1.csv、./data/02_raw/2.csv(等中。我更希望在构建管道时不要给每个文件指定不同的名称，并单独跟踪它们。我想知道是否有任何方法可以通过在catalog.yml文件中指定一些内容来批量读取所有这些文件？
您正在寻找PartitionedDataSet。在您的示例中，catalog.yml可能如下所示：
my_partitioned_dataset:
type: "PartitionedDataSet"
path: "data/01_raw"
dataset: "pandas.CSVDataSet"