我已将数据库的数据和文件夹结构从一个HDFS实例转移到另一个。
。我该如何处理蜂巢元数据?我需要新的HDFS实例的Hive才能使用其现有分区来定义此数据库及其表,就像在原始位置一样。而且,当然,他们通常需要通过更新HDFS外部桌子位置来维护原始模式。
很乐意使用直接的Hive命令,Spark或任何开源且随时可用的通用CLI实用程序。我没有实际的hadoop群集(这是云存储(,所以请避免依赖地图减少/etc的答案(如sqoop(。
使用Hive命令:
SHOW CREATE TABLE tablename;
这将打印创建表句。将表类型复制到外部,位置,架构,列名(如有必要(等并执行。
创建表之后,使用此命令创建分区元数据
MSCK [REPAIR] TABLE tablename;
Amazon Elastic MapReduce上的等效命令(EMR(的Hive版本为:
ALTER TABLE tablename RECOVER PARTITIONS;
这将添加Hive分区元数据。在此处查看手册:恢复分区