使用 SQL 更新 Spark 表中的列

Question

我想在表格中添加一列，然后用另一个表中的值填充它。以下是我问题的高度简化版本。

CREATE TABLE table_1 (
id INT,
a DECIMAL(19,2)
)
INSERT INTO TABLE table_1 VALUES (1, 3.0)
INSERT INTO TABLE table_1 VALUES (2, 4.0)
CREATE TABLE table_2 (
id INT,
b DECIMAL(19,2),
c DECIMAL(19,2)
)
INSERT INTO TABLE table_2 VALUES (1, 1.0, 4.0)
INSERT INTO TABLE table_2 VALUES (2, 2.0, 1.0)
-- The next two parts illustrate what I'd like to accomplish
ALTER TABLE table_1 ADD COLUMNS (d Decimal(19,2))
UPDATE table_1
SET d = (table_1.a - table_2.b) / table_2.c
FROM table_2
WHERE table_1.id = table_2.id

最后SELECT * FROM table_1会产生这样的东西：

+---+----+----+
| id|   a|   d|
+---+----+----+
|  1|3.00|0.50|
|  2|4.00|2.00|
+---+----+----+

但是，当我运行更新命令时，Spark(版本 2.4)会立即抱怨更新语句。

UPDATE table_1 ...
^^^

最终，我需要一个与原始表同名且具有新列的表。仅使用Spark SQL，我可以做些什么来实现我的目标？似乎我无法执行更新，但是我可以执行SQL黑客来实现相同的最终结果吗？在我的实际问题中，我需要向一个大表添加大约 100 列，因此解决方案也不应拖累性能或制作大量数据副本并占用磁盘空间。

改写我的问题的另一种方法是，我可以使用Spark的开源版本完成相当于UPDATE的DataBricks(见这里)吗？

Answer 1

一种方法是创建 2 个临时表，填充这些表，然后连接这些表以创建最终表。一般步骤和(未经测试的)代码如下。

1) 创建临时表

CREATE TEMPORARY TABLE temp_table_1 (
id INT,
a DECIMAL(19,2)
)
INSERT INTO TABLE temp_table_1 VALUES (1, 3.0)
INSERT INTO TABLE temp_table_1 VALUES (2, 4.0)
CREATE TEMPORARY TABLE temp_table_2 (
id INT,
b DECIMAL(19,2),
c DECIMAL(19,2)
)
INSERT INTO TABLE temp_table_2 VALUES (1, 1.0, 4.0)
INSERT INTO TABLE temp_table_2 VALUES (2, 2.0, 1.0)

2) 创建最终表

CREATE TABLE table_1 
AS
SELECT t1.id, t1.a, t2.b, (t1.a - t1.b) / t2.c as d
FROM table_1 AS t1
JOIN table_2 AS t2 ON t1.id = t2.id

Answer 2

请记住，Spark 不是数据库;数据帧是可以查询的类似表的引用，但与表不同。您要做的是创建一个将表合并为类似表的结构的视图，然后保留或使用该视图。

CREATE TEMPORARY VIEW table_3 AS
SELECT t1.a, t2.b, t2.c, (t1.a - t2.b) / t2.c as d
FROM table_1 t1 INNER JOIN table_2 t2
ON t1.id = t2.id

您最终希望将该视图写回表中，但在添加 100 列中的每一列后，您不需要执行此操作。