我正在尝试理解"Spark Context的成本",它们是否非常沉重,并且会在单个JVM中创建500个Spark-Context是一个糟糕的设计。
在保险公司的客户服务应用程序的上下文中,其中有500个代表使用该应用程序,如果有一个简单的rest API将接受policy-number并使用Apache Spark在HDFS或Cassandra中进行查找。使用
有意义吗?- 每个请求一个Spark-Context
- 为所有请求提供一个Singleton-Spark上下文
- 创建一个Spark-Contexts池并使用它
感谢您的回复
Spark上下文包含您的集群,appname和运行内核以及一些应用程序级属性的访问信息。因此,一个单例Spark上下文将是大规模应用的最终选择。
查看Spark Job server获取更多详细信息