如何选择在Kedro CSVLocalDataSet中加载哪些列

Question

我有一个csv文件，看起来像

a,b,c,d
1,2,3,4
5,6,7,8

我想把它作为KedroCSVLocalDataSet加载，但我不想读取整个文件。我只想要几个列(例如a和b(。

我有什么方法可以指定要读取/加载的列的列表吗？

Answer 1

CSVLocalDataSet使用pandas.read_csv，它接受"usecols"参数。使用load_args数据集参数可以很容易地进行代理(所有数据集都支持通过load_args和save_args传递的附加参数(：

my_cool_data:
type: CSVLocalDataSet
filepath: data/path.csv
load_args: 
usecols: ['a', 'b']

还要注意，相同的参数适用于任何基于熊猫的数据集。