sparkSQL Map 列按子句分组

Question

我正在将查询从Hive迁移到SparkSQL，但是遇到了Map列的一个问题。

我的查询是

spark.sql(select col1,col2,my_map,count(*) from table group by col1,col2,my_map)

我得到的错误是

`my_map` cannot be used as a grouping expression because its data type map<string,string> is not an orderable data type.;

my_map中的键总是不同的。我尝试使用已弃用的HiveContext，但是，这没有帮助。有什么解决方法吗？

谢谢！

Answer 1

答案在错误响应中。您需要将my_map变成可排序的数据类型！:)