在 SparkSession.SQL 中执行准备好的和批处理的语句

Question

如何使用SparkSession在Java中对Cassandra执行准备和批处理语句.SQL？我正在使用 Spark 2.1

Answer 1

简短回答：批处理和预处理语句会自动发生。

长答案：SparkSql 通过 Spark Cassandra Connector - Cassandra 数据源工作。数据源关系定义了如何从 Cassandra 读取数据以及如何将数据写入 Cassandra。这意味着通过SparkSql或数据集API进行的任何写入都将使用Spark Cassandra Connector附带的所有功能。

所有写入都将使用预准备语句和分区键批处理完成。要调整批处理的完成方式（或任何其他写入配置），您可以更改此处列出的参数

https://github.com/datastax/spark-cassandra-connector/blob/master/doc/reference.md#write-tuning-parameters

由于SparkSql仅通过这种关系进行通信，因此无法使用Cassandra特定的概念，如批处理或准备语句。