Spark Cassandra连接器的行为与CQL shell-Insert问题不同

Question

我有以下Cassandra DM:

CREATE TABLE table (
id uuid,
timestamp timestamp STATIC,
value1 text STATIC,
value2 int,
value3 text,
data map <text,text>,
PRIMARY KEY ( id, value2 )
);

到目前为止还不错。现在我必须先插入几种格式：

INSERT INTO table (id, timestamp, value1)
VALUES (<uuid>,<timestamp>,<some-string>);

和

INSERT INTO table (id, value2, value3, data)
VALUES (<some-id>,<some-int>,<some-string>, <some-simple-json-map>)

两个CQL语句都很好用。现在，我正在开发我的spark流媒体应用程序，获取数据并将其格式化为类似CQL语句的数据帧。对于每一组语句1，我得到几组语句2。

现在，当我像第一个CQL语句一样保存数据帧时，我遇到了一个问题。spark抛出了一个cassandra异常：

java.lang.IllegalArgumentException: 
Some primary key columns are missing in RDD or have not been selected: value2
at com.datastax.spark.connector.writer.TableWriter$.checkMissingPrimaryKeyColumns(TableWriter.scala:190)
at com.datastax.spark.connector.writer.TableWriter$.checkColumns(TableWriter.scala:257)
at com.datastax.spark.connector.writer.TableWriter$.apply(TableWriter.scala:275)
at com.datastax.spark.connector.RDDFunctions.saveToCassandra(RDDFunctions.scala:36)
...

这里是我的数据帧的模式：

root
|-- id: string (nullable = true)
|-- timestamp: long (nullable = true)
|-- value1: string (nullable = true)

我的保存状态：

data.select("id", "timeStamp", "value1")
.write.format("org.apache.spark.sql.cassandra")
.mode(SaveMode.Append)
.options(Map("keyspace" -> "some_keyspace","table" -> "table"))
.save()

当我将值2列添加到数据帧中时，该语句工作正常。

root
|-- id: string (nullable = true)
|-- timestamp: long (nullable = true)
|-- value1: string (nullable = true)
|-- value2: integer (nullable = false)

有没有一种方法可以在不更改数据模型的情况下使其像CQL语句一样工作？

Answer 1

静态列是由同一分区的所有行共享的特殊列。在第一个插入示例中，CQL允许您插入分区的仅静态数据：

插入ctest(id，timestamp，value1)VALUES(233177ff-439b-4a2d-a8b0-4db742b4bc1b，'2013-01-01 00:05+0000'，'one')；

从ctest中选择*；

id                                   | value2 | timestamp                | value1 | data | value3
--------------------------------------+--------+--------------------------+--------+------+--------
233177ff-439b-4a2d-a8b0-4db742b4bc1b |   null | 2013-01-01 00:05:00+0000 |    one | null |   null

这将创建一个合成行；它看起来像一行，但它只是一个分区键和一个静态列。如果您插入一个具有主键的实际行，则空值将消失：

插入ctest(id，value2)VALUES(233177ff-439b-4a2d-a8b0-4db742b4bc1b，1)；

从ctest中选择*；

id                                   | value2 | timestamp                | value1 | data | value3
--------------------------------------+--------+--------------------------+--------+------+--------
233177ff-439b-4a2d-a8b0-4db742b4bc1b |      1 | 2013-01-01 00:05:00+0000 |    one | null |   null
(1 rows)

执行了两次插入后，您只有一行。

Spark Cassandra连接器更严格，不允许为分区插入仅静态的数据。连接器代码检查主键中的所有列是否已定义。它在主键(id，value2)中找到两列，只设置了一列，并引发错误。以下是com.datatax.park.connector.writer.TableWriter:中的检查

private def checkMissingPrimaryKeyColumns(table: TableDef, columnNames: Seq[String]) {
val primaryKeyColumnNames = table.primaryKey.map(_.columnName)
val missingPrimaryKeyColumns = primaryKeyColumnNames.toSet -- columnNames
if (missingPrimaryKeyColumns.nonEmpty)
throw new IllegalArgumentException(
s"Some primary key columns are missing in RDD or have not been selected: ${missingPrimaryKeyColumns.mkString(", ")}")
}

关于这方面的更多背景，Mat Brown的《学习Apache Cassandra》一书讨论了第53-54页上的纯静态插入。