我们可以将字符串列设置为分区列吗?

Question

表只有字符串列作为主列EMPLOYEE_ID如何分区。

val destination = spark.read.options(options).jdbc(options("url"), options("dbtable"), "EMPLOYEE_ID", P00100001, P00100005000000, 10, new java.util.Properties()).rdd.map(_.mkString(","))

有没有其他方法可以读取JDBC表并对其进行处理。

Answer 1

这是不可能的。此处只能使用整数列。如果您的数据库支持 rowid 的某种变体，它是整数或可以转换为整数，则可以在查询（伪代码）中提取它：

 (SELECT CAST(rowid AS INTEGER), * FROM TABLE) AS tmp