获取"StructField"对象在BinaryClassificationMetrics上没有属性"_get_object_id"

Question

我试图在pyspark上获得二进制分类报告，但遇到了这个错误

StructField"对象没有属性"_get_object_id">

这是我的代码

%%spark
from pyspark.mllib.evaluation import BinaryClassificationMetrics
#from pyspark.mllib.evaluation import BinaryClassificationMetrics
predictionAndLabels = test_pred.rdd.map(lambda Row : (float(Row['label']) , Row['prediction']))
metrics = BinaryClassificationMetrics(predictionAndLabels)

此外，基于文档的链接，显然，它不支持f1措施和召回等。知道为什么或者如何在没有低级别编码的情况下提取它们吗？

Answer 1

我认为您不必深入了解。以你链接的文档中二进制文件的数据为例，假设你的阈值是p=0.5，你可以做一些类似的事情

# f1 = 2 · Precision · Recall/Precision + Recall
# precision = tp / tp+fp
# recall = tp / tp+fn
from pyspark.sql.functions import col
scoreAndLabels = sc.parallelize([(0.1, 0.0), (0.1, 1.0), (0.4, 0.0), (0.6, 0.0), (0.6, 1.0), (0.6, 1.0), (0.8, 1.0)], 2)
df = scoreAndLabels.toDF()
threshold = 0.5
tp = df.where((col('_1')>=threshold) &(col('_2')==1.0)).count()
fp = df.where((col('_1')<threshold) &(col('_2')==1.0)).count()
fn = df.where((col('_1')>=threshold) &(col('_2')==0.0)).count()
precision = tp / (tp+fp)
recall = tp / (tp+fn)
f1 = 2 * (precision * recall) / (precision + recall)

返回f1＝0.75。