如何处理SparkSQL中的'NULL'值？

Question

我的Hive表有一些NULL值，我需要过滤掉。但是当我运行像"x IS NOT NULL"、"x != NULL"、"x <> NULL"这样的查询时，它们都没有奏效。 经过一番搜索，我发现我必须告诉 Hive 解析器将属性serialization.null.format指定的NULL值视为。

我需要知道在哪里可以设置它。

我可以通过在启动SparkSQL时调用Hive Context上的setConf函数来执行此操作吗？

Answer 1

你可以在Spark SQL中IF isnull逐案使用。