单元管理与外部更新和插入表



配置单元外部表和托管表的优点和缺点是什么?

我们想在配置单元表中进行更新和插入,但不知道该采取哪种方法(托管表或在手动文件更新后创建刷新外部表的变通方法(,尤其是在添加了许多文件后。。一种方法或另一种方法会变得太慢吗(例如,太多的文件/太多的更新无法通过元存储进行跟踪,因此主节点变得太慢?(?

谢谢。

在Hive上执行DML有很多限制。有关更多详细信息,请阅读文档链接-https://cwiki.apache.org/confluence/display/Hive/Hive+交易。始终建议不要在配置单元管理的表上使用DML,尤其是当数据量巨大或表的大小随着时间的推移而增长时,这些操作会变得太慢。尽管如此,如果在分区/存储桶上而不是在完整的表上进行这些操作,则速度会快得多。尽管如此,最好处理文件中的编辑,并通过外部表进行完全刷新,最后只能在托管表上使用DML。

最新更新