在DataCatalog中指定Kedro数据版本

Question

是否可以使用Kedro 定义数据版本

type: pandas.CSVDataSet
filepath: data/01_raw/company/cars.csv
versioned: True
load_version: $USER_DEFINED_VERSION # Wanted to do this

目前，Kedro支持使用CLI指定加载版本，而在Datacatalog中指定会更容易。

kedro run --load-version="cars.csv:YYYY-MM-DDThh.mm.ss.sssZ"

Answer 1

Load版本属于运行时配置类别。出于将运行时配置与数据目录分离的愿望，决定不将load_version作为另一个密钥。如果您想指定多个加载版本，并且从CLI执行此操作很麻烦，则可以利用执行kedro run -c config.yml的功能，并在config.yml中指定运行时配置/参数。