数据过滤时忽略pyspark中的情况

Question

我有一个spark dataframe（input_dataframe），此数据框中的数据看起来如下：

id              value
 1                Ab
 2                Ai
 3                aB

我想选择 ab ab 的数据（情况无关紧要）以下是代码，我使用的是：

input_dataframe.where(col('value').isin("ab"))

，但是ID并没有为我提供所需的输出。有人可以帮我吗？任何帮助将不胜感激。

Answer 1

看一下pyspark.sql.functions.lower(col)在您的情况下，这应该是：

from pyspark.sql import functions as sf
input_dataframe.where(sf.lower(sf.col('value')).isin("ab"))