parquet中的spark-sql将二进制文件转换为字符串不起作用

Question

这一个工作符合预期

%spark.sql
select cast(binary('AA==') as string);
result
CAST(AA== AS STRING)
AA==

但是，当我从拼花地板文件中读取二进制数据，然后对其进行强制转换时，它并没有按预期工作。

select cast(value as string), value from sometable;
CAST(totalminustax.value AS STRING) value
�  [B@3aad2758
[B@3859414a
[B@6b2b58c5

知道为什么会发生这种事吗？

Answer 1

我发现我必须使用.config("spark.sql.parquet.binaryAsString", true)来解决这个问题。