如何为 Spark 数据帧创建自定义编写器

Question

如何为 Spark 数据帧创建自定义写入格式以像df.write.format("com.mycompany.mydb").save()一样使用它？我试过阅读Datastax Cassandra连接器代码，但仍然无法弄清楚

Answer 1

Spark 3.0 完全改变了 API。添加了一些新的接口，例如 TableProvider 和 SupportsWrite。

您可能会发现本指南很有帮助。

Answer 2

使用 Spark 的 DataSourceV2。

如果您使用的是 Spark 版本 <2.3，则可以使用 Spark 数据源 API V1。