cassandra system.schema_columns在修改后插入到其他表中

Question

我有以下选择：

select * from system.schema_columns where keyspace_name = 'automotive' and columnfamily_name = 'cars';

我想将由此返回的数据插入另一个表中，并进行一些修改：

-我想插入列的数据类型

-删除审计列，如created_at、created_by等。

在我的sql中，我们可以通过以下方式实现：

insert into formUtil(table_name, column_name, ordinal_position, is_nullable, data_type)
SELECT 
    col.table_name, 
    col.column_name, 
    col.ordinal_position, 
    case when col.is_nullable = 'YES' then 1 else 0 end, 
    col.data_type
from 
    information_schema.COLUMNS col 
where 
    col.table_schema = 'i2cwac' and
    col.column_name not in ('id','modifiedAt','modifiedBy','createdAt','createdBy') and
    col.table_name = 'users';

我们怎么能在卡桑德拉做到这一点？

Answer 1

您可以通过使用Spark 来实现这一点

import java.nio.ByteBuffer;
import com.datastax.spark.connector._;
case class SchemaColumns(keyspaceName: String, tableName: String, clusteringOrder: String, columnNameBytes: ByteBuffer, kind: String, position: Int, type: String)
case class AnotherTable(keyspaceName: String, tableName: String, type: String)
sc.cassandraTable[SchemaColumns]("system", "schema_columns")
    .map(schemaColumns -> AnotherTable(schemaColumns.keyspaceName,schemaColumns.tableName, schemaColumns.type)
    .saveToCassandra("my_keyspace","another_table")