更新 Spark 数据帧以填充另一个数据帧中的数据

Question

我有 2 个数据帧。我想获取 1 列的不同值并将其与另一个数据帧的所有行链接。例如 -

数据帧 1：df1 包含

scenarioId
---------------
101
102
103

数据帧 2：df2 包含列

trades
-------------------------------------
isin price 
ax11 111
re32 909
erre 445

预期产出

trades
----------------
isin price scenarioid
ax11 111   101
re32 909   101
erre 445   101
ax11 111   102
re32 909   102
erre 445   102
ax11 111   103
re32 909   103
erre 445   103

请注意，我无法在公共列上联接 2 个数据帧。请指教。

Answer 1

你需要的是cross join或笛卡尔乘积：

val result = df1.crossJoin(df2)

虽然我不推荐它，因为数据量增长非常快。您将获得所有可能的对 - 笛卡尔积的元素(数量将是行数df1乘以df2中的行数)。