Spark 1.6 在数据帧保留分区字段中加载特定分区

Question

我们有一个像这样分区的 avro：

table
--a=01
--a=02

我们希望从保留分区列 a 的单个分区加载数据。我发现了这个堆栈溢出问题，并应用了建议的代码片段：

DataFrame df = hiveContext.read().format(format).
option("basePath", "path/to/table/").
load("path/to/table/a=01")

但是当我尝试阅读字段 a 时，它说：

org.apache.spark.sql.AnalysisException: cannot resolve 'a' given input columns: [b, c, d]

在Spark Java API 1.6中可能吗？

Answer 1

简单地说，答案是...不，这是不可能的。