正在将数据帧写入镶木地板文件，但未写入任何标头

Question

我有以下代码：

print(df.show(3))
print(df.columns)

df.select('port', 'key', 'return_b', 'return_a', 'return_c', 'return_d', 'return_g').write.format("parquet").save("qwe.parquet")

由于某些原因，这不会将数据帧写入带有标头的镶木地板文件中。上面的print语句显示这些列存在，但拼花地板文件没有这些标题。

我也试过：

df.write.option("header", "true").mode("overwrite").parquet(write_folder)

Answer 1

您可能会发现df.to_parquet(...)更方便。

如果您希望向下投影到选定的列，先这样做，然后写信给镶木地板。