从数据帧火花中删除列

Question

我有一个包含大量列的 Spark 数据帧。我想从中删除两列以获取新的数据帧。

如果列较少，我可以在 API 中使用 select 方法，如下所示：

pcomments = pcomments.select(pcomments.col("post_id"),pcomments.col("comment_id"),pcomments.col("comment_message"),pcomments.col("user_name"),pcomments.col("comment_createdtime"));

但是，由于从长列表中选择列是一项繁琐的任务，是否有解决方法？

Answer 1

使用 drop 方法和 withColumn重命名方法。

例：

    val initialDf= ....
    val dfAfterDrop=initialDf.drop("column1").drop("coumn2")
    val dfAfterColRename= dfAfterDrop.withColumnRenamed("oldColumnName","new ColumnName")

Answer 2

试试这个：

val initialDf = ...
val dfAfterDropCols = initialDf.drop("column1", "coumn2")