根据Kedro的文档,Azure Blob存储是可用的数据源之一。这是否扩展到ADLS Gen2?
还没有尝试过Kedro,但在我投入一些时间之前,我想确保我可以连接到ADLS Gen2。
提前谢谢!
是的,这适用于Kedro。实际上,您指向的是一个非常旧的文档版本,现在Kedro中所有基于文件系统的数据集都在后台使用fsspec,这意味着它们可以无缝地与S3、HDFS、本地和更多文件系统协同工作。
ADLS Gen2由ffspec
通过此处记录的底层adlfs
库支持。
从Kedro的角度来看,你所需要做的就是这样声明你的目录条目:
motorbikes:
type: pandas.CSVDataSet
filepath: abfs://your_bucket/data/02_intermediate/company/motorbikes.csv
credentials: dev_az
我们这里还有更多的例子,特别是例子15。