我正在尝试将我的同事编写的自定义spark连接器迁移到spark 3.0。API已经发生了巨大变化(为了更好的IMH,总体而言(。有一件事我很难弄清楚,那就是用于编写数据帧的SaveMode
。它曾经作为WriteSupport
特性的抽象方法createWriter
的输入自变量之一提供。但是,WriteSupport
已更改为SupportsWrite
,等效的方法(如果可以这样调用的话(是newWriteBuilder
,它获取类型为LogicalWriteInfo
的参数,而该参数没有类型为SaveMode
的成员。
我还研究了WriteBuilder
、BatchWrite
、DataWriterFactory
和DataWriter[T]
,但都没有结果。不幸的是,我找不到任何关于这个主题的文件。如有任何帮助,我们将不胜感激。
感谢
SaveMode
正根据此问题退出。相反,添加了可以实现相同功能的新特性:
SupportsDynamicOverwrite
SupportsOverwrite
SupportsTruncate