在pyspark中读取.parket.gz、gzip的parquet文件



嗨,我正在尝试读取parquet文件,该文件已被压缩并保存为spark中的sample.parquet.gz文件,如果有人能告诉我如何做到这一点吗?

PS-我知道我可以很容易地在spark中读取gz.parquet文件,但我想读取一个使用gzip 通信的拼花地板

df = spark.read.parquet("/mnt/datalake/xxxxxx/Xxxxxx/Packed-Files/zipFileName.gz")

这对我有效。

相关内容

  • 没有找到相关文章

最新更新