数据砖更新表不适用于兽人格式

Question

Databricks 更新表不适用于 orc 格式。 我在 hive 元存储中创建了一个使用 ORC 格式的表，它工作正常。 后来我运行了更新表，该命令失败了。 有没有办法使用数据砖实现更新？

Answer 1

Databricks delta 支持更新、更新插入(合并到(和删除，并支持事务性支持。表格使用"使用增量"选项存储，例如：

CREATE TABLE events (
edate DATE,
eventId STRING,
eventType STRING,
data DECIMAL)
USING DELTA
PARTITIONED BY (date)
LOCATION 'wasbs://[e-mail]/managedtables/events';

数据存储在镶木地板文件中，并带有其他事务日志。有关更多详细信息，请参阅数据砖增量指南。

Spark 中的事务不支持 ORC。因此，如果要更新使用 ORC 选项存储的数据，可以通过创建一个不包含要更新的行的新行集，然后创建仅包含具有新值的更新行的第二个行集，然后将两个行集合并在一起来完成更新。