如何读取所有子文件夹中的所有parquet文件

Question

文件夹结构:

dir1
|-dir1-1
|    |-file1.parquet
|-dir1-2
|-file2.parquet

如何读取所有parquet文件，我尝试使用

sparkSession.read.format("parquet")
.option("recursiveFileLookup", "true")
.load("dir1path")

但是显示错误:无法推断拼花的模式。必须手动指定

Answer 1

我目前的解决方案是:sparkSession.read.parquet("dir1/*")