从远程系统连接到带电火花应用程序

Question

我在集群上部署了一个spark应用程序。我想用从远程机器上运行的另一个应用程序传递的一些变量来运行该应用程序。例如，我将从远程运行的应用程序传递一个查询字符串，我希望我的spark应用程序侦听该字符串并处理查询，并将响应返回给调用者。

有可能使用spark提供的任何库或功能吗。

Answer 1

Spark应用程序与任何其他应用程序一样。一个应用程序可以用无数种不同的方式接收远程命令。也许最常见的是使应用程序成为HTTP服务器。然后可以通过web界面或REST API对其进行远程控制。

如果您通过Scala使用Spark，Play Framework是一个受欢迎的选项。