有没有类似的方法可以在pyspark中复制熊猫"qcut"功能？

Question

我想在 pyspark 中对预测概率和真实标签进行 KS 测试。类似的工作已经在链接中的熊猫中完成：https://www.listendata.com/2019/07/KS-Statistics-Python.html

Answer 1

不，没有直接的方法。您必须应用窗口函数等。当我需要这个时，我总是皈依熊猫：-(或者当我在Databricks类型的环境中工作时，我会利用Spark sql。我发现这些比窗口方法更容易。