apache spark - SparkContext在大容量应用中的使用



我正在尝试理解"Spark Context的成本",它们是否非常沉重,并且会在单个JVM中创建500个Spark-Context是一个糟糕的设计。

在保险公司的客户服务应用程序的上下文中,其中有500个代表使用该应用程序,如果有一个简单的rest API将接受policy-number并使用Apache Spark在HDFS或Cassandra中进行查找。使用

有意义吗?
  1. 每个请求一个Spark-Context
  2. 为所有请求提供一个Singleton-Spark上下文
  3. 创建一个Spark-Contexts池并使用它

感谢您的回复

Spark上下文包含您的集群,appname和运行内核以及一些应用程序级属性的访问信息。因此,一个单例Spark上下文将是大规模应用的最终选择。

查看Spark Job server获取更多详细信息

相关内容

  • 没有找到相关文章

最新更新