从Hive读取表格,而无需减少地图



如何在没有地图减少地图的情况下从Hive读取?我正在尝试从Hive上创建的表中读取一列,但我不希望从MAP REDID中存在的开销。基本上,我想从没有开销的蜂巢上创建的表中检索值,并以最快的方式获取它们。

而不是mapReduce,您可以在蜂巢中执行引擎时使用tez或spark。

参见 hive.execution.engine 在Hive配置属性中。

也有很多与Hive元数据兼容的SQL引擎,例如Presto,Spark SQL,Impala。

通常,如果您从Hive MapReduce中的表中进行"选择 *",则不会运行..

在您的情况下,您只是使用蜂巢表中的选择列也不会运行。

,或者您可以在主表上创建一个带有所需列和行数的款项,然后在表上进行选择 *。

最新更新