创建独立的按需 Apache Spark Web 服务



我是Web服务的新手,我正在尝试创建一个Web服务

,如下所示:

用户在网页中输入一些单词。在后端启动一个 Apache Spark 作业,该作业使用这些词作为输入参数此作业的结果将被处理并显示回网页中。我想让它成为一个独立的东西,而不使用任何Spark即服务产品,如Bluemix等

现在,我正在考虑这样的事情:后端的 Python 服务器接受请求并使用输入触发新的 Spark 作业。Spark 作业完成后,Python 服务将处理输出并将其发送回页面。

我不确定这是否是这样做的最佳方式。另外,我不确定如何在网页中实时显示Spark作业的进度。

apache livy 项目可能适合您的需求。

https://livy.incubator.apache.org/

Livy 支持通过 REST 接口或 RPC 客户端库使用同步和异步结果提交 Spark。

希望这有帮助!

相关内容

  • 没有找到相关文章

最新更新