如何将新列添加到 pySpark 数据帧,其中包含大于 0 的计数列值



我想向pyspark数据帧添加一个新列,其中包含特定行中大于0的所有列值的计数。

这是我的演示数据帧。

+-----------+----+----+----+----+----+----+
|customer_id|2010|2011|2012|2013|2014|2015|
+-----------+----+----+----+----+----+----+
|     1     |  0 |  4 |  0 | 32 |  0 | 87 |
|     2     |  5 |  5 | 56 | 23 |  0 | 09 |
|     3     |  6 |  6 | 87 |  0 | 45 | 23 |
|     4     |  7 |  0 | 12 | 89 | 78 | 0  |
|     6     |  0 |  0 |  0 | 23 | 45 | 64 |
+-----------+----+----+----+----+----+----+

以上数据框有客户在一年内访问过。我想计算客户访问了多少年。所以我需要一个visit_count列,该列的访问次数(2010,2011,2012,2013,2014,2015)的值大于0。

+-----------+----+----+----+----+----+----+-----------+
|customer_id|2010|2011|2012|2013|2014|2015|visit_count|
+-----------+----+----+----+----+----+----+-----------+
|     1     |  0 |  4 |  0 | 32 |  0 | 87 |    3      |
|     2     |  5 |  5 | 56 | 23 |  0 | 09 |    5      |
|     3     |  6 |  6 | 87 |  0 | 45 | 23 |    5      |
|     4     |  7 |  0 | 12 | 89 | 78 | 0  |    4      |
|     6     |  0 |  0 |  0 | 23 | 45 | 64 |    3      |
+-----------+----+----+----+----+----+----+-----------+

如何实现这一点?

试试这个:

df.withColumn('visit_count', sum((df[col] > 0).cast('integer') for col in df.columns))

相关内容

  • 没有找到相关文章

最新更新