Azure数据块群集本地存储的最大大小



我在Azure上有一个数据块集群,
有一个本地存储/mnt/tmp/user
我可以知道每个文件夹都有文件夹大小限制吗
数据将保留多久?

Databricks文件系统(DBFS(是一个安装在Azure Databrickss工作区中的分布式文件系统,可在Azure Databricks集群上使用。DBFS是可扩展对象存储之上的抽象,即ADLS gen2。

您可以在Azure data Lake Storage Gen2中存储的数据量没有限制。

注意:Azure Data Lake Storage Gen2能够存储和服务许多EB的数据

对于Azure Databricks文件系统(DBFS(-仅支持大小小于2GB的文件。

注意:如果使用本地文件I/O API读取或写入大于2GB的文件,则可能会看到损坏的文件。相反,使用DBFS CLI、dbutils.fs或Spark API或使用/DBFS/ml文件夹访问大于2GB的文件。

对于Azure存储–最大存储帐户容量为5 PiBPetabytes。

有关更多详细信息,请参阅Azure Databricks中DBFS的数据大小限制是什么。

最新更新