Hive 元数据存储会自动发现新添加的数据吗?



嗨,我有一个与蜂巢有关的问题。谁能帮我?假设我向配置单元表添加一个分区。然后,如果我继续在 hdfs/s3 中向该分区添加文件,当我对这个相应的分区运行查询时,它是否能够发现添加的新数据

当您在HDFS中手动添加分区而不是通过Hive查询/语句添加分区时,Hive不会自动捕获这些目录详细信息,我们需要通过运行MSCK REPAIR使HMS知道新添加的HDFS目录。

默认情况下,当您运行时,MSCK REPAIR TABLE <table_name>Hive 在 HDFS 中查找该表的新添加分区,并使用更新的目录详细信息更新 HMS。完成此操作后,将捕获针对新添加分区数据的查询(假设HDFS中的分区目录中包含包含数据的文件(。

Hive 版本 3.0 中还提供了可用于MSCK REPAIR的其他选项。

您可以查看以下页面以获取更多信息:

  1. 我关于MSCK修复的答案

  2. 语言 DDL - Apache Hive

希望上面的答案对您有所帮助!

最新更新