Apache Livy REST API (/batches/) - 如何将数据返回给客户端

Question

我们正在使用 Apache Livy 0.6.0-incubating 并使用其 REST API 使用/batches/API 调用自定义 Spark jar。

自定义 Spark 代码从 HDFS 读取数据并进行一些处理。此代码成功，REST 响应也是"成功"。我们希望数据返回到客户端，就像/sessions/API 返回数据一样。 有没有办法做到这一点？

注意：/sessions/API 只能接受 Spark scala 代码。

Answer 1

我有一些类似的设置，我返回数据的方式是将火花结果写入 HDFS。 当我收到成功时，我从客户端计算机读取 HDFS 以获得结果。