Spark 相当于 postgres json 函数 ->

Question

我正试图从Spark查询一个json字段，看看是否有一个元素设置为true。

我的json字段选项的内容如下："match_tax_type"=>"true", "sales_tax_enabled"=>"true", …

在postgres中，我可以像这样评估jsonwhere (options -> 'sales_tax_enabled') = 'true'

Spark中有等效的函数吗？

Answer 1

您可以使用函数get_json_object

在这种情况下，你会有这样的东西：

.where(get_json_object(col("json"), "$.key") === "true")

参考文献：https://spark.apache.org/docs/latest/api/java/org/apache/spark/sql/functions.html#get_json_object-org.apache.spark.sql.Column-java.lang.String-

https://sparkbyexamples.com/spark/spark-most-used-json-functions-with-examples/#get_json_object