我想将以.csv结尾的文件(在dataake上(读取到数据块中。文件名没有定义的格式,但所有csv中的底层数据都有相同的模式。
我希望能够一口气阅读所有csv。
有关文件夹结构中的更多详细信息,请参阅所附图片
您想要的只是读取文件时的模式匹配。
你应该这样阅读文件:
spark.read.format("csv").load("/mnt/some-mount-point/*.csv")
材料:
- https://spark.apache.org/docs/latest/sql-data-sources-csv.html
- https://learn.microsoft.com/en-us/azure/databricks/kb/scala/pattern-match-files-in-path