SaveMode in DataSource API in Spark 3.0.x



我正在尝试将我的同事编写的自定义spark连接器迁移到spark 3.0。API已经发生了巨大变化(为了更好的IMH,总体而言(。有一件事我很难弄清楚,那就是用于编写数据帧的SaveMode。它曾经作为WriteSupport特性的抽象方法createWriter的输入自变量之一提供。但是,WriteSupport已更改为SupportsWrite,等效的方法(如果可以这样调用的话(是newWriteBuilder,它获取类型为LogicalWriteInfo的参数,而该参数没有类型为SaveMode的成员。

我还研究了WriteBuilderBatchWriteDataWriterFactoryDataWriter[T],但都没有结果。不幸的是,我找不到任何关于这个主题的文件。如有任何帮助,我们将不胜感激。

感谢

SaveMode正根据此问题退出。相反,添加了可以实现相同功能的新特性:

SupportsDynamicOverwrite

SupportsOverwrite

SupportsTruncate

最新更新