Azure Data Lake Storage Gen2(ADLS Gen2)作为Kedro管道的数据源



根据Kedro的文档,Azure Blob存储是可用的数据源之一。这是否扩展到ADLS Gen2?

还没有尝试过Kedro,但在我投入一些时间之前,我想确保我可以连接到ADLS Gen2。

提前谢谢!

是的,这适用于Kedro。实际上,您指向的是一个非常旧的文档版本,现在Kedro中所有基于文件系统的数据集都在后台使用fsspec,这意味着它们可以无缝地与S3、HDFS、本地和更多文件系统协同工作。

ADLS Gen2由ffspec通过此处记录的底层adlfs库支持。

从Kedro的角度来看,你所需要做的就是这样声明你的目录条目:

motorbikes:
type: pandas.CSVDataSet
filepath: abfs://your_bucket/data/02_intermediate/company/motorbikes.csv
credentials: dev_az

我们这里还有更多的例子,特别是例子15。

相关内容

  • 没有找到相关文章