更改 Spark 数据帧中所有"双精度类型"列的小数精度

Question

我有一个火花DataFrame，假设'df'。

我在此DataFrame上进行以下简单聚合：

df.groupBy().sum()

这样做，我得到以下例外：

java.lang.IllegalArgumentException: requirement failed: Decimal precision 39 exceeds max precision 38

有什么办法可以解决此问题？

我的猜测是，如果我可以降低DF中所有双型列的小数精度，它将解决该问题。

Answer 1

考虑使用自定义架构，然后覆盖每列类型double。