具有病例敏感的数据框架,而不是插入蜂巢表中



面对一个方案,其中dataFrame具有案例敏感,并且在将此数据框架插入蜂巢表中时,列出了误差,因为列是歧义

E.g:daframe_test.columns[ABC, abc]

我们可以在运行时动态处理的列中两个值,而不会投掷错误

通过设置spark.set.conf("spark.sql.caseSensitive", "true")

尝试使用一个解决方案

但是,在添加此属性后将此数据框架插入蜂巢表中时,将错误/异常作为模因开销和堆积空间等问题。而且不希望实时项目中此属性设置

Hive不支持案例敏感列名称。您将必须重命名列,以确保它们符合Hive中的命名方案。

最新更新