如何从Databricks上的Datalake读取所有仅以.csv结尾的文件



我想将以.csv结尾的文件(在dataake上(读取到数据块中。文件名没有定义的格式,但所有csv中的底层数据都有相同的模式。

我希望能够一口气阅读所有csv。

有关文件夹结构中的更多详细信息,请参阅所附图片

您想要的只是读取文件时的模式匹配。

你应该这样阅读文件:

spark.read.format("csv").load("/mnt/some-mount-point/*.csv") 

材料:

  • https://spark.apache.org/docs/latest/sql-data-sources-csv.html
  • https://learn.microsoft.com/en-us/azure/databricks/kb/scala/pattern-match-files-in-path

最新更新