将 Spark 数据集行值映射到新的哈希列

Question

给定以下DataSet值作为inputData：

column0 column1 column2 column3
A       88      text    99
Z       12      test    200
T       120     foo     12

在Spark中，计算新的hash列并将其附加到新DataSet的有效方法是什么，hashedData，其中hash定义为对inputData的每一行值应用MurmurHash3。

具体来说，hashedData为：

column0 column1 column2 column3 hash
A       88      text    99      MurmurHash3.arrayHash(Array("A", 88, "text", 99))
Z       12      test    200     MurmurHash3.arrayHash(Array("Z", 12, "test", 200))
T       120     foo     12      MurmurHash3.arrayHash(Array("T", 120, "foo", 12))

如果需要更多细节，请告诉我。

任何帮助，不胜感激。谢谢！

Answer 1

一种方法是使用 withColumn 函数：

import org.apache.spark.sql.functions.{col, hash}
dataset.withColumn("hash", hash(dataset.columns.map(col):_*))

Answer 2

事实证明，Spark 已经将其实现为包org.apache.spark.sql.functions中的hash函数

/**
 * Calculates the hash code of given columns, and returns the result as an int column.
 *
 * @group misc_funcs
 * @since 2.0
 */
@scala.annotation.varargs
def hash(cols: Column*): Column = withExpr {
  new Murmur3Hash(cols.map(_.expr))
}

就我而言，应用为：

import org.apache.spark.sql.functions.{col, hash}
val newDs = typedRows.withColumn("hash", hash(typedRows.columns.map(col): _*))

关于Spark sql :(，我真的有很多东西要学。

把它留在这里，以防其他人需要它。谢谢！