如何使用scalaapi在sparksql中编写类似查询

Question

我想使用Scala API将以下查询转换为Spark SQL：

select ag.part_id name from sample c join testing ag on c.part=ag.part and concat(c.firstname,c.lastname) not like 'Dummy%' 

有什么想法吗？

提前感谢

Answer 1

也许这会奏效：

import org.apache.spark.sql.functions._
val c = sqlContext.table("sample")
val ag = sqlContext.table("testing")
val fullnameCol = concat(c("firstname"), c("lastname))
val resultDF = c.join(ag, (c("part") === ag("part")) && !fullnameCol.like("Dummy%"))

有关我上面使用的功能的更多信息，请查看以下链接：

• org.apache.spark.sql.functions
• org.apache.spark.sql.DataFrame
• org.apache.spark.sql.Column

Answer 2

你是说这个

df.filter("filed1 not like 'Dummy%'").show

或

df.filter("filed1 ! like 'Dummy%'").show

Answer 3

像这样使用

df.filter（！'Cl1.like（"%COND%"）。显示