Spark中桌子的更改模式

Question

我有一张在火花中的表，如下所示：

Table1
  col1                string
  col2                int
  col3                string
  col4                int
  col5                string 

我有另一个表格，如下：

Table2
    col1                string
    col2                int
    col3                string

我想动态读取 table1 的模式并更改 table2 的模式，以便两个表的架构都应匹配（相同的列名和数据类型）

因此，最后table2应该看起来像下面：

Table2
  col1                string
  col2                int
  col3                string
  col4                int
  col5                string 

是否可以使用Pyspark？

Answer 1

是的，您可以将表写入数据框中，而不是使用：

获取架构

val tableSchema = yourDataFrame.schema

您还可以将其作为表字段列表获取：

val tableSchema = yourDataFrame.schema.fields