嗨,我有一个与蜂巢有关的问题。谁能帮我?假设我向配置单元表添加一个分区。然后,如果我继续在 hdfs/s3 中向该分区添加文件,当我对这个相应的分区运行查询时,它是否能够发现添加的新数据
当您在HDFS中手动添加分区而不是通过Hive查询/语句添加分区时,Hive不会自动捕获这些目录详细信息,我们需要通过运行MSCK REPAIR
使HMS知道新添加的HDFS目录。
默认情况下,当您运行时,MSCK REPAIR TABLE <table_name>
Hive 在 HDFS 中查找该表的新添加分区,并使用更新的目录详细信息更新 HMS。完成此操作后,将捕获针对新添加分区数据的查询(假设HDFS中的分区目录中包含包含数据的文件(。
Hive 版本 3.0 中还提供了可用于MSCK REPAIR
的其他选项。
您可以查看以下页面以获取更多信息:
我关于MSCK修复的答案
语言 DDL - Apache Hive
希望上面的答案对您有所帮助!