在使用Spark写入Parquet文件时,如何添加额外的元数据



默认情况下看起来像spark。但是,如果我想将一些随机的元数据(例如版本= 123)写入Spark产生的镶木文件?

这不起作用:

df.write().option("version","123").parquet("somefile.parquet");

我正在使用Spark版本1.6.2

列级元数据,是的,请参阅我的评论。

表级评论/用户元数据:请参阅https://issues.apache.org/jira/browse/browse/spark-10803

可悲的是,还没有

相关内容

  • 没有找到相关文章

最新更新