Apache Spark Dataframe -设置不相等连接的问题



我有2个数据框,我正在做一个多列连接。第一对列做的是等号比较,第二对列做的是不等号比较。代码看起来像这样:

val arule_1w = itemLHS
      .join(itemRHS, itemLHS("CUST_ID") === itemRHS("CUST_ID") && itemLHS("LHS") != itemRHS("RHS")

结果数据仍然有包含itemLHS("LHS")= itemRHS("RHS")的行,这是不应该使用不相等连接的。这可能是用户错误,但我所有的研究告诉我,格式是正确的。所有数据类型都是字符串值。

谢谢你的帮助!

正确的方法是=!=而不是!=

用于以下语法== itemRHS("RHS")

相关内容

  • 没有找到相关文章

最新更新