如何使用配置单元外部配置单元表创建空数据帧?

Question

我正在使用以下内容使用Hive外部表创建数据帧(spark scala(。但数据帧也在其中加载了数据。我需要使用 hive 外部表的架构创建一个空 DF。我为此使用火花斯卡拉。

val table1 = sqlContext.table("db.table")

如何使用配置单元外部配置单元表创建空数据帧？

Answer 1

你可以做：

val table1 = sqlContext.table("db.table").limit(0)

这将为您提供仅包含架构的空 df。由于惰性计算，它也不会比加载架构花费更长的时间。