如何保持或检查Apache Livy连接?



正如我们所知,创建Apache Livy连接是昂贵的。它将创建新的应用程序并上传任务文件。

我的情况是用户可以提交作业使用我的Web Api write与Java,然后我使用Apache Livy客户端将作业提交到Spark。

我想保留一个或修复数量 Livy 客户端实例,并且可以检查客户端状态,例如连接池。

如果你的工作是一个有限的工作单元,那么你应该使用Livy的Batch抽象而不是SessionSession用于交互式工作(例如,Jupyter Notebook或Apache Zeppelin(,用户可以提交一些查询,评估结果并提交更多内容。 另一方面,Batch与您通常使用可执行文件提交的内容最相似spark-submit;当作业任务完成时,它也将自行结束,并将自行清理,因此不需要连接池。也就是说,连接池对于Session也没有什么意义,因为每个会话都有一个状态(在所述会话中运行的过去语句中定义的变量(,并且该状态不是(也不应该(共享的。

最新更新