比较Spark中两个数据框中的列

Question

我有两个dataframes，它们都包含不同数量的列。我需要比较它们之间的三个字段以检查它们是否相等。

我尝试了以下方法，但它不起作用。

if(df_table_stats("rec_cnt").equals(df_aud("REC_CNT")) || df_table_stats("hashcount").equals(df_aud("HASH_CNT")) || round(df_table_stats("hashsum"),0).equals(round(df_aud("HASH_TTL"),0)))
    {
        println("Job executed succefully")
    }

df_table_stats("rec_cnt")，此返回列，而不是实际值，因此条件变为false。

另外，请解释df_table_stats.select("rec_cnt")和df_table_stats("rec_cnt")之间的差异。

谢谢。

Answer 1

使用SQL并在您的条件下加入两个DF。

Answer 2

根据我的评论，您使用的语法是简单的列引用，它们实际上没有返回数据。假设您必须使用Spark，您需要一种实际返回数据的方法，以SPARK为action。对于这种情况，您可以使用take返回数据的第一个Row并提取所需的列：

val tableStatsRow: Row = df_table_stats.take(1).head
val audRow: Row = df_aud.take(1).head
val tableStatsRecCount = tableStatsRow.getAs[Int]("rec_cnt")
val audRecCount = audRow.getAs[Int]("REC_CNT")
//repeat for the other values you need to capture

但是，如果您全部使用它，Spark 绝对是过分的。您可以使用简单的JDBC库，例如scalaikejdbc（例如Scala）来进行这些查询并捕获结果中的原语。