我的要求是使用Apache Spark提供web服务请求。
我开发了一个XML RPC服务器，它将由servlet代码触发，并反过来运行spark-submit应用程序。然后，XML RPC将等待spark-submit完成并将结果发送回servlet。
我的问题是:
- 我可以在我的spark作业中编写XML RPC服务器，并使用独立的XML RPC服务器直接从我的servlet服务所有请求吗? 为每个web服务请求触发Apache spark的正确方法是什么?
由于依赖关系问题，将spark与servlet集成可能具有挑战性，但撇开这一点不讲，您可能更适合使用具有共享spark上下文的长时间运行驱动程序，因为创建spark上下文需要花费时间(并且您不能在不同的spark上下文之间共享缓存数据)。Ooyala Spark作业服务器对此很有用，IBM也有一个项目打算做类似的事情，称为Spark Kernel。希望其中一个项目