是否有一种方法可以使用AWS数据Wrangler指定Parquet版本

Question

我们正在编写parquet文件，似乎默认为版本1。输入图片描述

teradata NOS用a投诉本机对象存储用户错误:不支持的文件版本

我们如何使用AWS data wrangler/SDK为Pandas指定parquet版本来编写。

不知道该怎么做…也许需要另找作家?

Answer 1

您可以使用pyarrow_additional_kwargs:

设置版本

wr.s3.to_parquet(
...
pyarrow_additional_kwargs={"version":"2.6"}
)