Spark 数据帧筛选器

Question

val df = sc.parallelize(Seq((1,"Emailab"), (2,"Phoneab"), (3, "Faxab"),(4,"Mail"),(5,"Other"),(6,"MSL12"),(7,"MSL"),(8,"HCP"),(9,"HCP12"))).toDF("c1","c2")
+---+-------+
| c1|     c2|
+---+-------+
|  1|Emailab|
|  2|Phoneab|
|  3|  Faxab|
|  4|   Mail|
|  5|  Other|
|  6|  MSL12|
|  7|    MSL|
|  8|    HCP|
|  9|  HCP12|
+---+-------+

我想过滤掉列"c2"前 2 个字符为"MSL"或"HCP"的记录。

所以输出应该如下所示。

+---+-------+
| c1|     c2|
+---+-------+
|  1|Emailab|
|  2|Phoneab|
|  3|  Faxab|
|  4|   Mail|
|  5|  Other|
+---+-------+

任何人都可以帮忙吗？

我知道df.filter($"c2".rlike("MSL")) - 这是用于选择记录，但如何排除记录。

？

版本： 星火 1.6.2斯卡拉 ： 2.10

Answer 1

这也

有效。简洁，与SQL非常相似。

df.filter("c2 not like 'MSL%' and c2 not like 'HCP%'").show
+---+-------+
| c1|     c2|
+---+-------+
|  1|Emailab|
|  2|Phoneab|
|  3|  Faxab|
|  4|   Mail|
|  5|  Other|
+---+-------+

Answer 2

df.filter(not(
    substring(col("c2"), 0, 3).isin("MSL", "HCP"))
    )

Answer 3

我在下面使用从数据帧中过滤行，这对我有用。火花 2.2

val spark = new org.apache.spark.sql.SQLContext(sc)    
val data = spark.read.format("csv").
          option("header", "true").
          option("delimiter", "|").
          option("inferSchema", "true").
          load("D:\test.csv")   

import  spark.implicits._
val filter=data.filter($"dept" === "IT" )

或

val filter=data.filter($"dept" =!= "IT" )

Answer 4

val df1 = df.filter(not(df("c2").rlike("MSL"))&&not(df("c2").rlike("HCP")))

这奏效了。