如何使用 Spark DataFrame 和 Cassandra 设置命名策略

Question

我有使用小驼峰变量名称约定的案例类。Cassandra 对行名和表名使用lower_underscore约定。有没有办法指示数据帧自动转换名称？

表定义：

CREATE TABLE data_storage.dummy (
  some_name text,
  some_value text,
  PRIMARY KEY (some_name)
);

火花代码：

val ds = List(Dummy("key", 1)).toDS()
ds.write
    .format("org.apache.spark.sql.cassandra")
    .option("keyspace", "data_storage")
    .option("table", "dummy")
    .save

我编写了一个将名称从 camel 更改为下划线的函数，反之亦然，但是当某些遗留案例类也使用命名约定的情况下lower_underscore它不起作用。

  private def toUnderscore(ds: DataFrame): DataFrame = {
    normalizeNames(ds, CaseFormat.LOWER_CAMEL, CaseFormat.LOWER_UNDERSCORE)
  }
  private def toCamel(ds: DataFrame): DataFrame =
    normalizeNames(ds, CaseFormat.LOWER_UNDERSCORE, CaseFormat.LOWER_CAMEL)
  private def normalizeNames(df: DataFrame, from: CaseFormat, to: CaseFormat): DataFrame = {
    def normalizeName(c: String): String = from.to(to, c.toString)
    def flattenSchema(schema: StructType): StructType = {
      StructType(schema.fields.map {
        case StructField(name, inner: StructType, nullable, metadata) =>
          StructField(normalizeName(name), flattenSchema(inner), nullable, metadata)
        case StructField(name, array: ArrayType, nullable, metadata)  =>
          StructField(
            normalizeName(name), array.copy(elementType = array.elementType match {
              case s: StructType => flattenSchema(s)
              case x             => x
            }), nullable, metadata)
        case StructField(name, flat, nullable, metadata)              =>
          StructField(normalizeName(name), flat, nullable, metadata)
      })
    }

Answer 1

这种名称转换没有内置方法。RDD 接口有一些围绕其类型转换的其他方法，这些方法执行此类转换，但总的来说，我们没有为数据集/数据帧添加机制。