使用 python 将空列添加到 Spark 中的数据帧

Question

我有一个数据帧，我想用一个 nother 数据帧做一个联合。问题是第二个数据帧的列比第一个数据帧多。有没有办法在我的第一个数据帧中添加三列只有空单元格？

Answer 1

也许这会有所帮助

添加字符串类型列：

from pyspark.sql.types import StringType
df.withColumn("COL_NAME", lit(None).cast(StringType()))

添加整数类型

from pyspark.sql.types import IntegerType
df.withColumn("COL_NAME", lit(0).cast(IntegerType()))

Answer 2

使用 spark-dataframe
的withColumn对象 DF.withColumn("NewCol","Value")

Answer 3

df.withColumn（'NewColumn'， lit（None）.cast（StringType（