筛选 pyspark 数据框中的负值

Question

我有一个 Spark 数据帧，其中包含>40 列，具有混合值。如何一次从所有列中仅选择正值并过滤掉负值？我访问了[Python Pandas：数据帧过滤器负值，但没有一个解决方案有效。我想将朴素贝叶斯适合pyspark，其中一个假设是所有特征都必须是积极的。如何通过仅从特征中选择正值来准备相同的数据？

Answer 1

假设您有一个这样的数据帧

data = [(0,-1,3,4,5, 'a'), (0,-1,3,-4,5, 'b'), (5,1,3,4,5, 'c'), 
        (10,1,13,14,5,'a'),(7,1,3,4,2,'b'), (0,1,23,4,-5,'c')]
df = sc.parallelize(data).toDF(['f1', 'f2','f3','f4', 'f5', 'class'])

使用 VectorAssembler 组装向量中的所有列。

from pyspark.ml.feature import VectorAssembler
transformer = VectorAssembler(inputCols =['f1','f2','f3','f4','f5'], outputCol='features')
df2 = transformer.transform(df)

现在，使用 udf 筛选数据帧

from pyspark.sql.types import *
foo = udf(lambda x: not np.any(np.array(x)<0), BooleanType())
df2.drop('f1','f2','f3','f4','f5').filter(foo('features')).show()

结果

+-----+--------------------+
|class|            features|
+-----+--------------------+
|    c|[5.0,1.0,3.0,4.0,...|
|    a|[10.0,1.0,13.0,14...|
|    b|[7.0,1.0,3.0,4.0,...|
+-----+--------------------+