>>> a
DataFrame[id: bigint, julian_date: string, user_id: bigint]
>>> b
DataFrame[id: bigint, quan_created_money: decimal(10,0), quan_created_cnt: bigint]
>>> a.join(b, a.id==b.id, 'outer')
DataFrame[id: bigint, julian_date: string, user_id: bigint, id: bigint, quan_created_money: decimal(10,0), quan_created_cnt: bigint]
有两个id: bigint
我想删除一个。我该怎么办?
阅读 Spark 文档,我发现了一个更简单的解决方案。
从 Spark 的 1.4 版本开始,有一个函数drop(col)
可以在数据帧上的 pyspark 中使用。
您可以通过两种方式使用它
-
df.drop('age')
-
df.drop(df.age)
Pyspark 文档 - 删除
添加到@Patrick的答案中,您可以使用以下内容删除多个列
columns_to_drop = ['id', 'id_copy']
df = df.drop(*columns_to_drop)
方法是用户"select
",并意识到你可以得到一个dataframe
的所有columns
的列表,df
,df.columns
drop_list = ['a column', 'another column', ...]
df.select([column for column in df.columns if column not in drop_list])
您可以使用两种方式:
1:您只需保留必要的列:
drop_column_list = ["drop_column"]
df = df.select([column for column in df.columns if column not in drop_column_list])
2:这是更优雅的方式。
df = df.drop("col_name")
你应该避免使用 collect() 版本,因为它会向主节点发送完整的数据集,这将需要大量的计算工作!
您可以显式命名要保留的列,如下所示:
keep = [a.id, a.julian_date, a.user_id, b.quan_created_money, b.quan_created_cnt]
或者,在更通用的方法中,您将通过列表推导式包含除特定列之外的所有列。例如,像这样(不包括b
中的id
列):
keep = [a[c] for c in a.columns] + [b[c] for c in b.columns if c != 'id']
最后,您对联接结果进行选择:
d = a.join(b, a.id==b.id, 'outer').select(*keep)
也许有点跑题了,但这是使用 Scala 的解决方案。从oldDataFrame
中Array
列名称,并删除要删除的列("colExclude")
。然后将Array[Column]
传递给select
并打开包装。
val columnsToKeep: Array[Column] = oldDataFrame.columns.diff(Array("colExclude"))
.map(x => oldDataFrame.col(x))
val newDataFrame: DataFrame = oldDataFrame.select(columnsToKeep: _*)
是的,可以通过像这样切片来删除/选择列:
切片 = 数据列[a:b]
data.select(slice).show()
例:
newDF = spark.createDataFrame([
(1, "a", "4", 0),
(2, "b", "10", 3),
(7, "b", "4", 1),
(7, "d", "4", 9)],
("id", "x1", "x2", "y"))
slice = newDF.columns[1:3]
newDF.select(slice).show()
使用选择方法获取特征列:
features = newDF.columns[:-1]
newDF.select(features).show()
使用删除方法获取最后一列:
last_col= newDF.drop(*features)
last_col.show()
考虑 2 个数据帧:
>>> aDF.show()
+---+----+
| id|datA|
+---+----+
| 1| a1|
| 2| a2|
| 3| a3|
+---+----+
和
>>> bDF.show()
+---+----+
| id|datB|
+---+----+
| 2| b2|
| 3| b3|
| 4| b4|
+---+----+
要完成您正在寻找的目标,有两种方法:
1.不同的加入条件。而不是说 aDF.id==bDF.id
aDF.join(bDF, aDF.id == bDF.id, "outer")
写这个:
aDF.join(bDF, "id", "outer").show()
+---+----+----+
| id|datA|datB|
+---+----+----+
| 1| a1|null|
| 3| a3| b3|
| 2| a2| b2|
| 4|null| b4|
+---+----+----+
这将自动摆脱额外的丢弃过程。
2.使用混叠:您将丢失与B特定ID相关的数据。
>>> from pyspark.sql.functions import col
>>> aDF.alias("a").join(bDF.alias("b"), aDF.id == bDF.id, "outer").drop(col("b.id")).show()
+----+----+----+
| id|datA|datB|
+----+----+----+
| 1| a1|null|
| 3| a3| b3|
| 2| a2| b2|
|null|null| b4|
+----+----+----+
您可以像这样删除列:
df.drop("column Name).columns
在您的情况下:
df.drop("id").columns
如果要删除多个列,可以执行以下操作:
dfWithLongColName.drop("ORIGIN_COUNTRY_NAME", "DEST_COUNTRY_NAME")