Spark SQL sql( "<some aggregate query>" ).first().getDouble(0) 给我不一致的结果

Question

我有以下查询，它应该找到列值的平均值并返回给我一个数字的结果。

val avgVal = hiveContext.sql("select round(avg(amount), 4) from users.payment where dt between '2018-05-09' and '2018-05-09'").first().getDouble(0)

我在此声明中面临不一致的行为。这通常会失败并出现以下错误，但是当通过 Hive 执行时，它会给出非 NULL 结果。

18/05/10 11:01:12 ERROR ApplicationMaster: User class threw exception: java.lang.NullPointerException: Value at index 0 in null
java.lang.NullPointerException: Value at index 0 in null
at org.apache.spark.sql.Row$class.getAnyValAs(Row.scala:475)
at org.apache.spark.sql.Row$class.getDouble(Row.scala:243)
at org.apache.spark.sql.catalyst.expressions.GenericRow.getDouble(rows.scala:192)

我使用 HiveContext 而不是 SQLContext 的原因是后者不支持我在代码中广泛使用的一些聚合函数。

你能帮我理解为什么会出现这个问题以及如何解决吗？

Answer 1

您需要将查询分为两部分：

var result = hiveContext.sql("select round(avg(amount), 4) from users.payment where dt between '2018-05-09' and '2018-05-09'");
var first = result.first();
if (first != null && !first.isNullAt(0)) {
var avgVal = first.getDouble(0);
}

这将避免NPE。这在列表和数组中也是必需的。

对于插入或更新查询，您甚至需要用try...catch块括起来以捕获运行时异常。

Answer 2

让我们分析一下可以抛出此异常的情况和可能的原因。

Row row = hiveContext.sql("select info, name, desc, id from users.payment where dt between '2018-05-09' and '2018-05-09'").first();

如果上述row的值返回如下内容：

[null, Kevin, cash, 300]

试图获得getDouble(0)将导致java.lang.NullPointerException: Value at index 0 in null

您可以尝试以下方法：

Row row = hiveContext.sql("select round(avg(amount), 4) from users.payment where dt between '2018-05-09' and '2018-05-09'").first();
if (!row.isNullAt(0))
double d = row.getDouble(0);
else
logger.error("Value at index zero is null");

如果你要检查源代码，库类会做相反的事情：

private static Object getAnyValAs(Row $this, int i) {
if($this.isNullAt(i)) {
throw new NullPointerException((new StringContext(scala.Predef..MODULE$.wrapRefArray((Object[])(new String[]{"Value at index ", " is null"})))).s(scala.Predef..MODULE$.genericWrapArray(new Object[]{BoxesRunTime.boxToInteger(i)})));
} else {
return $this.getAs(i);
}
}